3D 点云对象跟踪 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

3D 点云对象跟踪

可以使用该页面熟悉可用于完成 3D 点云对象检测任务的用户界面和工具。

您的任务

在处理 3D 点云对象跟踪任务时,您需要从工作人员门户右侧的 Annotations (注释) 菜单中使用 Label Categories (标签类别) 菜单选择一个类别。在选择类别后,可以使用添加长方体和适合长方体工具,在该类别适用的 3D 点云中使长方体紧靠对象周围。在放置长方体后,您可以直接在点云和右侧显示的三个面板中修改其位置、尺寸和方向。如果在工作人员门户中看到一个或多个图像,您也可以在这些图像或 3D 点云中修改长方体,编辑内容将显示在另一个介质中。

重要

如果在打开任务时看到长方体已添加到 3D 点云帧中,请调整这些长方体并根据需要添加其他长方体。

要编辑长方体(包括移动长方体,改变长方体方向和更改长方体尺寸),您必须使用快捷键。您可以在 UI 的 Shortcuts (快捷方式) 菜单中看到快捷键的完整列表。以下是在开始执行标记任务之前应熟悉的重要组合键。

Mac 命令 Windows 命令 操作

Cmd + 拖动

Ctrl + 拖动

修改长方体的尺寸。

Option + 拖动

Alt + 拖动

移动长方体。

Shift + 拖动

Shift + 拖动

旋转长方体。

Option + O

Alt + O

使在点周围绘制的长方体紧靠这些点。在使用该选项之前,请确保长方体完全包围相关对象。

Option + G

Alt + G

将长方体放置在地面上。

在您打开任务时,将加载两个帧。如果任务包含超过两个帧,您需要使用左下角的导航栏或加载帧图标以加载其他帧。在提交之前,您应在所有帧中注释和调整标签。

在将长方体紧靠对象边界周围后,使用 UI 右下角的导航栏导航到另一个帧。如果该同一对象已移到新位置,请添加另一个长方体并使其紧靠对象边界周围。每次手动添加长方体时,您会看到屏幕左下角的帧序列栏变为红色,其中,按时间顺序列出该帧在序列中的位置。

以下视频说明了如果在一个帧中添加长方体,然后在另一帧中对其进行调整,UI 将如何自动推断长方体在所有中间帧中的位置。

在放置长方体后,UI 自动推断该对象在所有其他帧中的位置。这称为插值。您可以使用箭头查看该对象的移动情况以及推断和手动创建的长方体。根据需要,调整推断的长方体。以下视频说明了如何在帧之间导航。

提示

您可以使用 3D 点云菜单项关闭跨帧的自动长方体插值。从顶部菜单中选择 3D Point Cloud (3D 点云),然后选择 Interpolate Cuboids across Frames (跨帧插长长方体)。这将取消选中此选项并停止长方体插值。您可以重新选择此项以重新打开长方体插值。

关闭长方体插值不会影响已跨帧插值的长方体。

单个标签可能具有一个或多个标签属性。如果标签具有与之关联的标签属性,则在从 Label Id (标签 ID) 菜单中选择标签旁边的向下箭头时,将显示该标签。填写所有标签属性的必需值。

您可能会在 Label Id (标签 ID) 菜单下看到帧属性。这些属性将显示在任务中的每个帧上。使用这些属性提示输入有关每个帧的其他信息。

导航 UI

您可以使用键盘和鼠标以在 3D 场景中导航。您可以:

  • 双击点云中的特定对象以将其放大。

  • 您可以使用键盘上的 [ 和 ] 键来放大并从一个标签移动到下一个标签。如果未选择标签,当您选择 [ 或 ] 时,UI 将放大到 Label Id (标签 ID) 列表中的第一个标签。

  • 使用鼠标滚轮或触控板以放大和缩小点云。

  • 同时使用键盘箭头键和 Q、E、A 和 D 键以向上、向下、向左和向右移动。使用键盘 W 和 S 键以放大和缩小。

在您将长方体放置在 3D 场景后,将显示侧视图,其中具有三个投影的侧视图:俯视图、侧视图和后视图。这些侧视图显示放置的长方体内部和周围的点,并帮助工作人员优化该区域中的长方体边界。工作人员可以使用鼠标以放大和缩小每个侧视图。

以下视频说明了在 3D 点云和在侧视图中的移动情况。

当您位于工作人员 UI 时,您会看到以下菜单:

  • Instructions (说明) – 在开始执行任务之前,请查看这些说明。

  • Shortcuts (快捷方式) – 可以使用该菜单以查看键盘快捷键,它们可用于导航点云和使用提供的注释工具。

  • Label (标签) – 可以使用该菜单以修改长方体。首先,选择一个长方体,然后从该菜单中选择一个选项。该菜单包括辅助标记工具,例如将长方体放置在地面上以及自动使长方体紧靠对象的边界。

  • View (视图) – 可以使用该菜单以打开或关闭不同的视图选项。例如,您可以使用该菜单将地面网格添加到点云中,以及选择点云的投影。

  • 3D Point Cloud (3D 点云) – 可以使用该菜单为点云中的点添加其他属性,例如颜色和像素强度。请注意,这些选项可能不可用。

在打开任务时,移动场景图标处于打开状态,您可以使用鼠标和屏幕的点云区域中的导航按钮在点云中四处移动。要返回到首次打开任务时看到的原始视图,请选择重置场景图标。

在选择添加长方体图标后,您可以将长方体添加到点云和图像(如果包含)中。您必须再次选择移动场景图标以移动到 3D 点云或图像中的另一个区域。

要折叠右侧的所有面板并使 3D 点云全屏显示,请选择全屏图标。

如果包含摄像机图像,您可以使用以下视图选项:

  • C – 在点云视图上查看摄像机角度。

  • F – 在点云视图上查看用于捕获该图像的摄像机的截头锥体或视野。

  • P – 查看覆盖在图像上的点云。

  • B – 查看图像中的长方体。

以下视频说明了如何使用这些视图选项。F 选项用于查看摄像机的视野(灰色区域),C 选项显示摄像机朝向的方向和摄像机的角度(蓝线),而 B 选项用于查看长方体。

删除长方体

您可以选择长方体或标签 ID 并:

  • 删除您正在查看的当前帧中的单个长方体。

  • 在您正在查看的帧之前或之后,删除具有该标签 ID 的所有长方体。

  • 删除所有帧中具有该标签 ID 的所有长方体。

长方体删除的常见使用案例是对象离开场景。

您可以使用这些选项中的一个或多个来删除手动放置和插入的具有相同标签 ID 的长方体。

  • 要在当前位于的帧之前或之后删除所有长方体,请选择该长方体,选择 UI 顶部的 Label (标签) 菜单项,然后选择 Delete in previous frames (在前一个帧中删除) 或 Delete in follow frames (在下一帧中删除) 之一。使用 Shortcuts (快捷方式) 菜单可查看可用于这些选项的快捷键。

  • 要删除所有帧中的标签,请从 Labels (标签) 菜单中选择 Delete in all frames (删除所有帧中的标签),或者在键盘上使用 Shift + Delete (删除) 快捷方式。

  • 要删除单个长方体,请选择该长方体,然后在右侧的 Label ID 边栏中选择该标签 ID 旁边的垃圾桶图标 (),或者在键盘上使用 Delete 键删除该长方体。

如果您手动将多个带相同标签的长方体放置在不同的帧中,当您删除一个手动放置的长方体时,所有插入的长方体都会进行调整。进行此调整的原因是 UI 在计算插入的长方体的位置时将手动放置的长方体用作锚点。在删除其中一个锚点时,UI 必须重新计算插入的长方体的位置。

如果您从帧中删除长方体,但之后决定要恢复它,则可以使用 Label (标签) 菜单中的 Duplicate to previous frames (复制到上一个帧) 或 Duplicate to next frames (复制到下一个帧) 选项,分别将该长方体复制到以下所有前面的帧或所有帧。

批量编辑标签类别和帧属性

您可以批量编辑标签属性和帧属性。

在批量编辑属性时,您可以指定要将编辑应用于的一个或多个帧范围。您选择的属性在该范围的所有帧中进行编辑,包括指定的开始帧和结束帧。当您批量编辑标签属性时,您指定的范围必须包含标签属性附加到的标签。如果您指定的帧不包含此标签,您将收到错误。

要批量编辑属性,您必须先为属性指定所需的值。例如,如果要将属性从 Yes (是) 更改为 No (),您必须选择 No (否),然后执行批量编辑。

您还可以为尚未填充的属性指定新值,然后使用批量编辑功能在多个帧中填充该值。为此,请为 属性选择所需的值并完成以下过程。

要批量编辑标签或属性,请执行以下操作:

  1. 使用鼠标右键单击要批量编辑的属性。

  2. 在文本框中使用短划线 (-) 指定要将批量编辑应用到的帧范围。例如,如果要将编辑应用于第 1 帧到第 10 帧,请输入 1-10。如果要将编辑应用于第 2 帧到第 5 帧,则 8 帧到第 10 帧和第 20 帧,请输入 2-5,8-10,20

  3. 选择 Confirm (确认)。

如果您收到错误消息,请确认输入了有效范围,并且所编辑的标签属性(如果适用)关联的标签存在于指定的所有帧中。

您可以使用屏幕顶部 Label (标签) 菜单中的 Duplicate to previous frames (复制到上一个帧) 和 Duplicate to next frames (复制到下一个帧) 选项,快速将标签添加到所有以前的或后续帧。

图标指南

可以使用该表以了解您在工作人员任务门户中看到的图标。

图标 描述

添加长方体

选择该图标以添加长方体。您添加的每个长方体与您选择的类别相关联。

编辑长方体

选择该图标以编辑长方体。在添加长方体后,您可以编辑其尺寸、位置和方向。在添加长方体后,它自动切换到编辑长方体模式。

标尺

使用此图标可测量点云中的距离 (以米为单位)。如果您的说明要求您注释与长方体中心相隔给定距离的所有对象或用于捕获数据的对象,则可能需要使用该工具。

选择该图标时,可以使用鼠标选择起始点 (第一个标记) 并将其放在点云中的任意位置。该工具将自动使用插值在与所选位置最接近的点上放置标记,否则将在地面上放置标记。如果您错误地放置了起点,则可使用转义键来恢复标记放置。

放置第一个标记后,您会看到一条虚线和一个动态标签,指示您已移动远离第一个标记的距离。单击点云上其他位置放置第二个标记。放置第二个标记时,虚线变为实心,并设置了距离。

设置距离后,您可以通过选择任一标记来编辑它。您可以通过选择标尺上的任何位置并在键盘上使用 Delete 键来删除标尺。

重置场景

选择该图标以将点云、侧面板以及所有图像(如果适用)的视图重置为首次打开任务时的原始位置。

移动场景

选择该图标以移动场景。默认情况下,在首次启动任务时,将选择该图标。

全屏

选择该图标以使 3D 点云可视化内容全屏显示,并折叠所有侧面板。

加载帧

选择该图标以加载其他帧。

隐藏标签

在 3D 点云可视化内容以及图像(如果适用)中隐藏标签。

显示标签

在 3D 点云可视化内容以及图像(如果适用)中显示标签。

删除标签

删除标签。只能使用该选项删除您手动创建或调整的标签。

Shortcuts

Shortcuts (快捷方式) 菜单中列出的快捷方式可以帮助您导航 3D 点云,并使用工具添加和编辑长方体。

在开始任务之前,建议您查看 Shortcuts (快捷方式) 菜单并熟悉这些命令。您需要使用一些 3D 长方体控件以编辑长方体。

释放、停止和恢复以及拒绝任务

当您打开标记任务时,右上角的三个按钮允许您拒绝任务(拒绝任务),释放任务(释放任务),并在稍后停止并恢复任务(停止并稍后恢复)。下面的列表描述了选择以下选项之一时将发生的情况:

  • Decline task (拒绝任务):只有在任务出现错误(例如 3D 点云、图像或 UI 的问题)时,才应拒绝任务。如果您拒绝任务,则将无法返回到该任务。

  • Release Task (释放任务):使用此选项可释放任务并允许其他人对其进行处理。当您释放任务时,您将放宽该任务上的所有工作,并且您团队中的其他工作人员也可以选取该任务。如果工作人员足够多,则可能无法返回该任务。当您选择此按钮,然后选择 Confirm (确认) 时,您将返回到工作人员门户。如果任务仍可用,其状态将为 Available (可用)。如果其他工作人员选取它,它将从您的门户中消失。

  • 停止并稍后恢复:您可以使用停止并稍后恢复按钮停止工作,并在以后返回到任务。您应该使用 Save (保存) 按钮保存您的工作,然后再选择 Stop and resert lause (停止并在以后恢复)。当您选择此按钮,然后选择 Confirm (确认) 时,您将返回到工作人员门户,任务状态为 Stopped (已停止)。您可以选择相同的任务以恢复处理。

    请注意,创建标记任务的人员指定了 可完成所有任务的时间限制。如果您未返回 并在该时间限制内完成此任务,它将过期,并且不会提交您的工作。有关更多信息,请联系您的 管理员。

保存您的工作并提交

您应该定期保存您的工作。Ground Truth 每 15 分钟自动保存一次您的工作。

在打开任务时,您必须先在其中完成您的工作,然后再按 Submit (提交)