处理视频帧对象跟踪任务 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

处理视频帧对象跟踪任务

视频帧对象跟踪任务要求您跟踪对象在视频帧中的移动情况。视频帧是来自视频场景的静止图像。

您可以使用工作人员 UI 在视频帧之间导航,并使用提供的工具来识别唯一对象并跟踪其从一个对象到下一个的移动。可以使用此页面了解如何导航工作人员 UI、使用提供的工具并完成您的任务。

建议您使用 Google Chrome 或 Firefox Web 浏览器完成任务。

重要

如果在打开任务时看到注释已添加到一个或多个视频帧中,请调整这些注释并根据需要添加其他注释。

您的任务

当您处理视频帧对象跟踪任务时,需要从工作人员门户右侧的 Label category (标签类别) 菜单中选择一个类别以开始注释。选择类别后,请使用提供的工具来注释类别适用的对象。此注释将与只应用于该对象的唯一标签 ID 关联。使用此相同标签 ID 可以在显示的所有视频帧中为同一对象创建其他注释。请参阅工具指南以了解有关提供的工具的更多信息。

添加标签后,您可能会在 Labels 菜单中的标签旁边看到一个指向下方的箭头。选择此箭头,然后为看到的每个标签属性选择一个选项以提供有关该标签的更多信息。

您可能会在 Labels (标签) 菜单下看到帧属性。这些属性将显示在任务中的每个帧上。使用这些属性提示输入有关每个帧的其他信息。

添加标签后,您可以使用 Labels (标签) 菜单中标签旁边的下向箭头快速添加和编辑标签类别属性值。如果您选择 Labels (标签) 菜单中的标签旁边的铅笔图标,则会显示 Edit instance (编辑实例) 菜单。您可以使用此菜单编辑标签 ID、标签类别和标签类别属性。

要编辑注释,请在 Labels (标签) 菜单中选择要编辑的注释的标签,或在框架中选择注释。在编辑或删除注释时, 操作将仅在单个帧中修改注释。

如果您正在处理包含边界框工具的任务,请使用预测下一个图标来预测在下一个帧的帧中绘制的所有边界框的位置。如果您选择单个框,然后选择预测下一个图标,则仅将在下一帧中预测该框。如果您尚未向当前帧添加任何框,您将收到错误。在使用此功能之前,您必须至少向帧添加一个框。

使用预测下一个图标后,查看下一个帧中每个框的位置,并根据需要调整框位置和大小。

下图演示如何使用预测下一个工具:

对于所有其他工具,您可以使用 Copy to nextCopy to all 工具将注释分别复制到下一个或所有帧。

导航 UI

您可以使用 UI 左下角的导航栏在视频帧之间导航。

使用播放按钮可自动在整个帧序列中移动。

使用下一帧和上一帧按钮可一次向前或向后移动一帧。您还可以输入帧编号以导航到该帧。

以下视频演示了如何在视频帧之间导航。

您可以放大和缩小所有视频帧。在放大到视频帧后,您可以使用移动图标在该帧中四处移动。在单个视频帧中通过在该帧内缩放和移动来设置新视图时,所有视频帧将设置为同一视图。您可以使用适合屏幕图标将所有视频帧重置为其原始视图。有关其他视图选项,请参阅图标指南

当您位于工作人员 UI 时,您会看到以下菜单:

  • Instructions (说明) – 在开始执行任务之前,请查看这些说明。此外,选择 More instructions (更多说明) 并查看这些说明。

  • Shortcuts (快捷方式) – 可以使用该菜单查看键盘快捷键,您可以使用这些快捷键在视频帧中导航并使用提供的工具。

  • 帮助 – 使用此选项可返回本文档。

批量编辑标签和帧属性

您可以批量编辑标签属性和帧属性(属性)。

在批量编辑属性时,您可以指定要将编辑应用于的一个或多个帧范围。您选择的属性在该范围的所有帧中进行编辑,包括指定的开始帧和结束帧。当您批量编辑标签属性时,您指定的范围必须包含标签属性附加到的标签。如果您指定的帧不包含此标签,您将收到错误。

要批量编辑属性,您必须先为属性指定所需的值。例如,如果要将属性从 Yes (是) 更改为 No (),您必须选择 No (否),然后执行批量编辑。

您还可以为尚未填充的属性指定新值,然后使用批量编辑功能在多个帧中填充该值。为此,请为 属性选择所需的值并完成以下过程。

要批量编辑标签或属性,请执行以下操作:

  1. 使用鼠标右键单击要批量编辑的属性。

  2. 在文本框中使用短划线 (-) 指定要将批量编辑应用到的帧范围。例如,如果要将编辑应用于第 1 帧到第 10 帧,请输入 1-10。如果要将编辑应用于第 2 帧到第 5 帧,则 8 帧到第 10 帧到第 20 帧,输入 2-5,8-10,20

  3. 选择 Confirm (确认)。

如果您收到错误消息,请确认输入了有效范围,并且所编辑的标签属性(如果适用)关联的标签存在于指定的所有帧中。

您可以使用屏幕顶部 Label (标签) 菜单中的 Duplicate to previous frames (复制到以前的帧) 和 Duplicate to next frames复制到下一个帧) 选项,快速将标签添加到所有以前的或后续帧。

工具指南

您的任务将包含一个或多个工具。提供的工具指示您将创建用于标识和跟踪对象的注释的类型。可以使用下表了解有关提供的每个工具的更多信息。

工具 图标 操作 描述

边界框

添加边界框注释。

选择该图标以添加边界框。您添加的每个边界框与您从 Label category (标签类别) 下拉菜单中选择的类别相关联。选择边界框或其关联的标签以对其进行调整。

边界框

预测下一个帧中的边界框。

选择一个边界框,然后选择该图标以预测该框在下一帧中的位置。您可以连续多次选择 图标以自动检测多个帧中的框的位置。例如,选择此图标 5 次可预测边界框在接下来的 5 帧中的位置。

关键点

添加关键点注释。

选择该图标以添加关键点。单击图像上的对象以将关键点放在该位置。

您添加的每个关键点与您从 Label category (标签类别) 下拉菜单中选择的类别相关联。选择一个关键点或其关联的标签以对其进行调整。

多边形

添加多行注释。

选择该图标以添加多边形。要添加多边形,请持续单击相关对象以添加新点。要停止绘制多边形,请选择您第二次放置的最后一个点 (此点为绿色),或在键盘上按 Enter。

添加到多边形的每个点通过一条线连接到上一个点。多线不必闭合 (起点和终点不必相同),并且线之间形成的角度没有限制。

您添加的每个多边形都与您在 Label category (标签类别) 下拉菜单中选择的类别相关联。选择多边形或其关联的标签以对其进行调整。

多边形

添加多边形注释。

选择该图标以添加多边形。要添加多边形,请持续单击感兴趣的对象以添加新点。要停止绘制多边形,请选择起点 (此点为绿色)。

多边形是由您放置的一系列点定义的闭合形状。添加到多边形的每个点通过一条线连接到上一个点,并且对线条之间形成的角度没有任何限制。起点和终点必须相同。

您添加的每个多边形都与您在 Label category (标签类别) 下拉菜单中选择的类别相关联。选择多边形或其关联的标签以对其进行调整。

将 复制到下一步

将注释复制到下一个帧。

如果在当前帧中选择一个或多个注释,则这些注释将复制到下一个帧。如果未选择任何注释,则将当前帧中的所有注释复制到下一个帧。

将 复制到全部

将注释复制到所有后续帧。

如果在当前帧中选择一个或多个注释,则这些注释将复制到所有后续帧。如果未选择任何注释,则将当前帧中的所有注释复制到所有后续帧。

图标指南

使用此表可了解您在 UI 中看到的图标。您可以使用 Shortcuts (快捷方式) 菜单中的键盘快捷键自动选择其中的一些图标。

图标 操作 描述

亮度

选择该图标以调整所有视频帧的亮度。

对比度

选择该图标以调整所有视频帧的对比度。

放大

选择该图标以放大所有视频帧。

缩小

选择该图标以缩小所有视频帧。

移动屏幕

在放大到视频帧后,请选择该图标以在该视频帧中移动。您可以使用鼠标在视频帧上四处移动,方法是单击并拖动该帧以使其移动。这将更改所有视图帧中的视图。

fit 屏幕

将所有视频帧重置为其原始位置。

撤消

撤消操作。您可以使用此图标删除刚刚添加的边界框,或者撤消对边界框所做的调整。

重做 使用撤消图标撤消已撤消的操作。
删除标签 删除标签。这将删除与单个帧中的标签关联的边界框。
显示或隐藏标签 选择该图标以显示已隐藏的标签。如果此图标中有一个斜杠,请选择该斜杠以隐藏标签。
编辑标签 选择该图标以打开 Edit instance (编辑实例) 菜单。可以使用该菜单编辑标签类别、ID 和 以添加或编辑标签属性。

Shortcuts

Shortcuts (快捷方式) 菜单中列出的键盘快捷键可帮助您快速选择图标、撤消和重做注释,并使用工具添加和编辑注释。例如,在添加边界框后,您可以使用 P 快速预测该框在后续帧中的位置。

在开始任务之前,建议您查看 Shortcuts (快捷方式) 菜单并熟悉这些命令。

释放、停止和恢复以及拒绝任务

当您打开标记任务时,右上角的三个按钮允许您拒绝任务(拒绝任务),释放任务(释放任务),并在稍后停止并恢复任务(停止并稍后恢复)。下面的列表描述了选择以下选项之一时将发生的情况:

  • Decline task (拒绝任务):只有在任务出现错误(例如视频帧图像不明确或 UI 出现问题)时,才应拒绝任务。如果您拒绝任务,则将无法返回到该任务。

  • Release Task (释放任务):使用此选项可释放任务并允许其他人对其进行处理。当您释放任务时,您将放宽该任务上的所有工作,并且您团队中的其他工作人员也可以选取该任务。如果工作人员足够多,则可能无法返回该任务。当您选择此按钮,然后选择 Confirm (确认) 时,您将返回到工作人员门户。如果任务仍可用,其状态将为 Available (可用)。如果其他工作人员选取它,它将从您的门户中消失。

  • 停止并稍后恢复:您可以使用停止并稍后恢复按钮停止工作,并在以后返回到任务。您应该使用 Save (保存) 按钮保存您的工作,然后再选择 Stop and resert lause (停止并在以后恢复)。当您选择此按钮,然后选择 Confirm (确认) 时,您将返回到工作人员门户,任务状态为 Stopped (已停止)。您可以选择相同的任务以恢复处理。

    请注意,创建标记任务的人员指定了 可完成所有任务的时间限制。如果您未返回 并在该时间限制内完成此任务,它将过期,并且不会提交您的工作。有关更多信息,请联系您的 管理员。

保存您的工作并提交

您应使用 Save (保存) 按钮定期保存您的工作。 Ground Truth 会每隔 15 分钟自动保存一次您的工作。

在打开任务时,您必须先在其中完成您的工作,然后再按 Submit (提交)