3D 点云对象跟踪 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

3D 点云对象跟踪

如果您希望工作人员在对象周围添加 3D 长方体并使其适合这些对象,从而跟踪它们在 3D 点云帧中的移动情况,请使用该任务类型。例如,您可以使用该任务类型要求工作人员跟踪车辆在多个点云帧上的移动情况。

对于该任务类型,工作人员标注的数据对象是一个点云帧序列。序列定义为点云帧的时间序列。Ground Truth 使用您提供的序列渲染一系列 3D 点云可视化内容,工作人员可以在工作人员任务界面上在这些 3D 点云帧之间切换。

Ground Truth 为工作人员提供了一些工具,以便在 3D 场景和投影的侧视图(俯视图、侧视图和后视图)上的三个维度中以 9 个旋转度 (x,y,z,rx,ry,rz,l,w,h) 注释对象。当工作人员在对象周围绘制长方体时,将为该长方体分配唯一的 ID,例如序列中的一辆汽车为 Car:1,另一辆汽车为 Car:2。工作人员使用该 ID 在多个帧中标注相同的对象。

您也可以提供摄像机数据,以便为工作人员提供有关帧中的场景的更多视觉信息,并协助工作人员在对象周围绘制 3D 长方体。在工作人员添加 3D 长方体以标识 2D 图像或 3D 点云中的对象时,长方体将显示在另一个视图中。

您可以使用 3D 点云对象跟踪调整任务类型以调整在 3D 点云对象检测标注作业中创建的注释。

如果您是 Ground Truth 3D 点云标注模式的新用户,我们建议您查阅 3D 点云标注作业概览。该标注模式与其他 Ground Truth 任务类型不同,该页面概述了在创建 3D 点云标注作业时应注意的重要详细信息。

查看工作人员任务界面

Ground Truth 为工作人员提供了 Web 门户和工具以完成 3D 点云对象跟踪注释任务。在创建标注作业时,您可以在 HumanTaskUiArn 参数中为预构建的 Ground Truth UI 提供 Amazon 资源名称 (ARN)。在控制台中使用该任务类型创建标注作业时,将自动使用该 UI。在控制台中创建标注作业时,您可以预览该工作人员 UI 并与之交互。如果您是新用户,建议您使用控制台创建标注作业,以确保标签属性、点云帧和图像(如果适用)按预期方式显示。

以下是 3D 点云对象跟踪工作人员任务界面的 GIF,并说明了工作人员如何浏览序列中的点云帧。注释工具是工作人员任务界面的一部分。它们不适用于预览界面。

在工作人员添加一个长方体后,将在序列中具有相同 ID 的所有帧上复制该长方体。在工作人员在另一个帧中调整该长方体后,Ground Truth 将插入该对象的移动信息,并在手动调整的帧之间调整所有长方体。以下 GIF 说明了该插入功能。在左下角的导航栏中,红色区域表示手动调整的帧。

如果您提供用于传感器融合的摄像机数据,图像将与点云帧中的场景进行匹配。这些图像显示在工作人员门户中,如以下 GIF 中所示。

工作人员可以使用键盘和鼠标以在 3D 场景中导航。他们可以:

  • 双击点云中的特定对象以将其放大。

  • 使用鼠标滚轮或触控板以放大和缩小点云。

  • 同时使用键盘箭头键和 Q、E、A 和 D 键以向上、向下、向左和向右移动。使用键盘 W 和 S 键以放大和缩小。

在工作人员将长方体放置在 3D 场景后,将显示侧视图,其中具有三个投影的侧视图:俯视图、侧视图和后视图。这些侧视图显示放置的长方体内部和周围的点,有助于工作人员优化该区域中的长方体边界。工作人员可以使用鼠标以放大和缩小每个侧视图。

以下视频说明了在 3D 点云和在侧视图中的移动情况。

可以使用其他视图选项和功能。有关工作人员 UI 的全面概述,请参阅工作人员说明页面

工作人员工具

工作人员可以通过以下方法浏览 3D 点云:使用鼠标和键盘快捷键放大和缩小以及在云中的所有方向上移动。如果工作人员单击点云中的一个点,UI 将自动放大到该区域。工作人员可以使用不同的工具在对象周围绘制 3D 长方体。有关更多信息,请参阅辅助标注工具

在工作人员将 3D 长方体放置在点云后,他们可以使用多种视图调整这些长方体以紧靠汽车周围:直接在 3D 长方体中,在框周围具有三个放大点云透视图的侧视图中以及直接在 2D 图像中(如果包含用于传感器融合的图像)。

视图选项;使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性。工作人员还可以在透视投影和正交投影之间进行选择。

辅助标注工具

Ground Truth 使用 UX、机器学习和计算机视觉驱动的辅助标注工具执行 3D 点云对象跟踪任务,以协助工作人员快速准确地注释 3D 点云。以下辅助标注工具可用于该任务类型:

  • 标签自动填充 – 当工作人员将长方体添加到帧中时,具有相同尺寸和方向的长方体将自动添加到序列中的所有帧中。

  • 标签插值 – 在工作人员在两个帧中标注单个对象后,Ground Truth 使用这些注释在这两个帧之间插入该对象的移动信息。可以打开或关闭标签插值。

  • 批量标签和属性管理 – 工作人员可以批量添加、删除和重命名注释、标签类别属性和帧属性。

    • 工作人员可以在帧前面或后面手动删除给定对象的注释。例如,如果某个对象不再位于第 10 帧后面的场景中,工作人员可以在该帧后面删除该对象的所有标签。

    • 如果工作人员不小心批量删除了对象的所有注释,他们可以重新添加这些注释。例如,如果工作人员在第 100 帧前面删除对象的所有注释,他们可以将其批量添加到这些帧中。

    • 工作人员可以在一个帧中重命名标签,并在所有帧中使用新名称更新分配了该标签的所有 3D 长方体。

    • 工作人员可以使用批量编辑功能在多个帧中添加或编辑标签类别属性和帧属性。

  • 贴靠 – 工作人员可以在对象周围添加一个长方体,并使用键盘快捷键或菜单选项让 Ground Truth 的自动适合工具将长方体紧靠对象边界周围。

  • 贴靠到地面 – 在工作人员将长方体添加到 3D 场景后,工作人员可以自动将长方体贴靠到地面上。例如,工作人员可以使用该功能将长方体贴靠到场景中的道路或人行道。

  • 多视图标注 – 在工作人员将 3D 长方体添加到 3D 场景后,侧面板将显示前面和两个侧面透视图,以便于工作人员调整紧靠对象周围的长方体。工作人员可以注释 3D 点云,侧面板和调整内容将实时显示在另一个视图中。

  • 传感器融合 – 如果您提供用于传感器融合的数据,工作人员可以在 3D 场景和 2D 图像中调整注释,注释将实时投影到另一个视图中。

  • 自动合并长方体 – 如果工作人员确定两个具有不同标签的长方体实际表示一个对象,他们可以在所有帧中自动合并这些长方体。

  • 视图选项 – 使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性,例如颜色或强度。工作人员还可以在透视投影和正交投影之间进行选择。

创建 3D 点云对象跟踪标注作业

您可以使用 SageMaker 控制台或 API 操作 CreateLabelingJob 创建 3D 点云标注作业。要为该任务类型创建标注作业,您需要具有以下内容:

  • 序列输入清单文件。要了解如何创建这种类型的清单文件,请参阅创建点云序列输入清单。如果您是 Ground Truth 3D 点云标注模式的新用户,我们建议您查阅 接受的原始 3D 数据格式

  • 来自私有或供应商人力的工作团队。您无法将 Amazon Mechanical Turk 用于 3D 点云标注作业。要了解如何创建人力和工作团队,请参阅创建和管理人力

此外,请确保您已查阅分配 IAM 权限以使用 Ground Truth并满足相应的要求。

要了解如何使用控制台或 API 创建标注作业,请参阅以下几节。

创建标注作业 (API)

本节介绍了使用 SageMaker API 操作 CreateLabelingJob 创建标注作业时需要了解的详细信息。此 API 为所有 Amazon SDK 定义了此操作。要查看此操作支持的特定于语言的 SDK 列表,请查看 CreateLabelingJob另请参阅部分。

创建标注作业 (API)概述了 CreateLabelingJob 操作。请按照这些说明进行操作,并在配置请求时执行以下操作:

  • 您必须为 HumanTaskUiArn 输入一个 ARN。使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking。将 <region> 替换为您在其中创建标注作业的 Amazon 区域。

    不应具有 UiTemplateS3Uri 参数的条目。

  • LabelAttributeName 必须以 -ref 结尾。例如,ot-labels-ref

  • 输入清单文件必须是点云帧序列清单文件。有关更多信息,请参阅 创建点云序列输入清单

  • 您可以在标签类别配置文件中指定标签、标签类别和帧属性以及工作人员说明。有关更多信息,请参阅创建包含标签类别和帧属性的标注类别配置文件以了解如何创建此文件。

  • 您需要为注释前和注释后 (ACS) Lambda 函数提供预定义的 ARN。这些 ARN 特定于您用于创建标注作业的 Amazon 区域。

    • 要查找注释前 Lambda ARN,请参考 PreHumanTaskLambdaArn。请使用您在其中创建标注作业的区域以查找以 PRE-3DPointCloudObjectTracking 结尾的正确 ARN。

    • 要查找注释后 Lambda ARN,请参考 AnnotationConsolidationLambdaArn。请使用您在其中创建标注作业的区域以查找以 ACS-3DPointCloudObjectTracking 结尾的正确 ARN。

  • NumberOfHumanWorkersPerDataObject 中指定的工作人员数应该为 1

  • 3D 点云标注作业不支持自动数据标注。您不应在 LabelingJobAlgorithmsConfig 中指定参数值。

  • 3D 点云对象跟踪标注作业可能需要几小时才能完成。您可以在 TaskTimeLimitInSeconds 中为这些标注作业指定更长的时间限制(最多 7 天或 604800 秒)。

创建标注作业(控制台)

您可以按照创建标注作业(控制台)中的说明进行操作,以了解如何在 SageMaker 控制台中创建 3D 点云对象跟踪标注作业。在创建标注作业时,请注意以下事项:

  • 输入清单文件必须是序列清单文件。有关更多信息,请参阅 创建点云序列输入清单

  • (可选)您可以提供标签类别属性。工作人员可以将其中的一个或多个属性分配给注释,以提供有关该对象的更多信息。例如,您可能希望使用 occluded 属性,以使工作人员确定对象何时被部分遮挡。

  • 3D 点云标注任务不支持自动数据标注和注释合并。

  • 3D 点云对象跟踪标注作业可能需要几小时才能完成。在选择工作团队时,您可以为这些标注作业指定更长的时间限制(最多 7 天或 604800 秒)。

创建 3D 点云对象跟踪调整或验证标注作业

您可以使用 Ground Truth 控制台或 CreateLabelingJob API 创建调整和验证标注作业。要了解有关调整和验证标注作业的更多信息,以及如何创建标注作业,请参阅验证和调整标签

创建调整标注作业时,标注作业的输入数据可以包括前一个标注作业或外部来源的标签以及偏航、俯仰和滚动测量值。在调整作业中,俯仰和滚动将在工作人员 UI 中可视化,但无法修改。偏航是可调的。

Ground Truth 使用 Tait-Bryan 角度与以下内在旋转来可视化工作人员 UI 中的偏航、俯仰和滚动。首先,根据 z 轴(偏航)对车辆进行旋转。接下来,旋转的车辆根据内在的 y 轴(俯仰)旋转。最后,车辆根据内在的 x 轴(滚动)旋转。

输出数据格式

在创建 3D 点云对象跟踪标注作业时,任务将发送给工作人员。在这些工作人员完成其任务时,其注释写入到在创建标注作业时指定的 Amazon S3 存储桶中。输出数据格式决定了在标注作业状态 (LabelingJobStatus) 为 Completed 时在 Amazon S3 存储桶中看到的内容。

如果您是 Ground Truth 的新用户,请参阅输出数据以了解有关 Ground Truth 输出数据格式的更多信息。要了解 3D 点云对象跟踪输出数据格式,请参阅3D 点云对象跟踪输出