处理视频帧对象检测任务 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

处理视频帧对象检测任务

视频帧对象检测任务要求您使用注释对视频帧中的对象进行分类并确定其位置。视频帧是来自视频场景的静止图像。

您可以使用工作人员用户界面在视频帧之间导航,并创建注释以识别感兴趣的对象。通过本页各部分了解如何导航工作人员用户界面、使用所提供的工具并完成任务。

建议您使用 Google Chrome Web 浏览器完成任务。

重要

如果您在打开任务时看到注释已添加到一个或多个视频帧中,请调整这些注释并根据需要添加其他注释。

您的任务

在处理视频帧对象检测任务时,需要从工作人员门户右侧的标签类别菜单中选择一个类别以开始注释。选择类别后,在该类别适用的对象周围绘制注释。要进一步了解您在工作人员用户界面中看到的工具,请参阅工具指南

添加标签后,您可能会在标签菜单中看到标签旁边有一个向下箭头。选择此箭头,然后为您看到的每个标签属性选择一个选项,以提供有关该标签的更多信息。

您可以在标签菜单下看到帧属性。这些属性将出现在任务的每个帧中。使用这些属性提示输入有关每个帧的其他信息。

要编辑注释,请在标签菜单中选择要编辑的注释的标签,或在帧中选择注释。编辑或删除注释时,该操作只会修改单帧中的注释。

如果您正在执行的任务中包含边界框工具,则可使用“预测下一帧”图标来预测您在下一帧中绘制的所有边界框的位置。如果选择单个边界框,然后选择“预测下一帧”图标,那么下一帧将只预测该边界框。如果当前帧中没有添加任何边界框,则会出现错误。使用此功能前,您必须在帧中至少添加一个边界框。

注意

预测下一帧功能不会覆盖手动创建的注释,而只会添加注释。如果使用了预测下一帧,结果在一个对象周围出现了多个边界框,请删除除一个边界框以外的所有边界框。每个对象只能用一个边界框来标识。

使用“预测下一帧”图标后,查看下一帧中每个边界框的位置,必要时调整边界框的位置和大小。

下图演示了如何使用“预测下一帧”工具:

对于所有其他工具,您可以使用复制到下一帧复制到所有帧工具分别将注释复制到下一帧或所有帧。

导航用户界面

您可以使用用户界面左下角的导航栏在视频帧之间导航。

使用“播放”按钮可自动播放多个帧。

使用“下一帧”和“上一帧”按钮可一次向前或向后移动一帧。您还可以输入帧编号以导航到该帧。

下面的视频演示了如何在视频帧之间导航。

您可以放大或缩小所有视频帧。放大视频帧后,可以使用移动图标在该帧中移动。在单个视频帧内通过缩放和移动导航到新视图时,所有视频帧都会设置为相同的视图。您可以使用“适合屏幕”图标将所有视频帧重置为其原始视图。要了解更多信息,请参阅用户界面图标指南

当您位于工作人员 UI 时,您会看到以下菜单:

  • 说明 – 在开始执行任务之前,请查看这些说明。此外,选择更多说明并查看这些说明。

  • 快捷键 - 使用此菜单查看键盘快捷键,您可以使用这些快捷键导航视频帧和使用提供的注释工具。

  • 帮助 – 使用此选项可参考本文档。

如果您

批量编辑标签和帧属性

您可以批量编辑标签属性和帧属性。

批量编辑属性时,指定要应用编辑的一个或多个帧范围。您选择的属性将在该范围内的所有帧中进行编辑,包括指定的起始帧和结束帧。批量编辑标签属性时,您指定的范围必须包含标签属性附加到的标签。如果指定的帧不包含此标签,则会出现错误。

要批量编辑属性,必须首先指定属性的所需值。例如,如果要将某个属性从改为,则必须先选择,然后执行批量编辑。

您还可以为尚未填写的属性指定一个新值,然后使用批量编辑功能在多个帧中填写该值。为此,请为属性选择所需的值,然后完成以下过程。

要批量编辑标签或属性,请执行以下操作:
  1. 使用鼠标右键单击要批量编辑的属性。

  2. 使用文本框中的短划线 (-) 指定要应用批量编辑的帧范围。例如,如果要将编辑应用于第一帧至第十帧,请输入 1-10。如果要将编辑应用于第二帧到第五帧、第八帧到第十帧和第二十帧,请输入 2-5,8-10,20

  3. 选择确认

如果收到错误信息,请验证输入的范围是否有效,以及与正在编辑的标签属性相关的标签(如适用)是否存在于指定的所有帧中。

使用屏幕顶部标签菜单中的复制到上一帧复制到下一帧选项,可以快速将标签添加到所有前一帧或后续帧。

工具指南

您的任务将包括一个或多个工具。提供的工具指定了您将创建的用于识别和标注对象的注释类型。使用下表详细了解您可能在工作人员 UI 中看到的一个或多个工具。

工具 图标 操作 描述

边界框

添加边界框注释。

选择此图标可添加边界框。您添加的每个边界框都与您从“标签类别”下拉菜单中选择的类别相关联。选择边界框或其关联的标签进行调整。

预测下一帧

预测下一帧中的边界框。

选择一个边界框,然后选择此图标以预测该边界框在下一帧中的位置。您可以连续多次选择此图标,以自动检测多个帧中边界框的位置。例如,选择此图标 5 次以预测接下来 5 帧中边界框的位置。

关键点

添加关键点注释。

选择此图标可添加关键点。单击图像的对象可将关键点放置在该位置。

您添加的每个关键点都与您从“标签类别”下拉菜单中选择的类别相关联。选择关键点或其关联的标签进行调整。

折线

添加折线注释。

选择此图标可添加折线。要添加折线,可连续单击感兴趣对象周围的点来添加新点。要停止绘制折线,请选择您第二次放置的最后一个点(该点将显示为绿色),或按键盘上的 Enter 键。

添加到折线上的每个点都用一条线与前一个点相连。折线不必闭合(起点和终点不必相同),线与线之间形成的角度也没有限制。

您添加的每个折线都与您从“标签类别”下拉菜单中选择的类别相关联。选择折线或其关联的标签进行调整。

多边形

添加多边形注释。

选择此图标可添加多边形。要添加多边形,可连续单击感兴趣对象周围的点来添加新点。要停止绘制多边形,请选择起点(该点将显示为绿色)。

多边形是由您放置的一系列点定义的封闭形状。添加到多边形中的每个点都用一条线与前一个点相连,线与线之间形成的角度没有限制。多边形的两条线(边)不能交叉。如果一条线违反此条件,将变为红色。起点和终点必须相同。

您添加的每个多边形都与您从“标签类别”下拉菜单中选择的类别相关联。选择多边形或其关联的标签进行调整。

复制到下一帧

将注释复制到下一帧。

如果在当前帧中选择了一个或多个注释,这些注释将复制到下一帧。如果未选择注释,当前帧中的所有注释都将复制到下一帧。

复制到所有帧

将注释复制到所有后续帧中。

如果在当前帧中选择了一个或多个注释,这些注释将复制到所有后续帧中。如果未选择注释,则当前帧中的所有注释都将复制到所有后续帧中。

用户界面图标指南

使用此表可以了解您在工作人员任务门户中看到的图标。您可以使用快捷键菜单中的键盘快捷键自动选择这些图标。

图标 描述

亮度

选择此图标可调整所有视频帧的亮度。

对比度

选择此图标可调整所有视频帧的对比度。

放大

选择此图标可放大所有视频帧。

缩小

选择此图标可缩小所有视频帧。

移动屏幕

放大视频帧后,选择此图标可在该视频帧中移动。您可以使用鼠标在视频帧周围移动,方法是单击并按您希望的方向拖动帧。这将更改所有视图帧中的视图。

适合屏幕

将所有视频帧重置为原始位置。

撤消

撤消操作。可以使用此图标删除刚添加的边界框,或撤消对边界框所做的调整。

重做 重做使用撤消图标撤消的操作。
删除标签 删除标签。这将在一帧内删除与标签相关的边界框。
显示或隐藏标签 选择此图标可显示已隐藏的标签。如果此图标上有一条斜线,选择此图标可隐藏标签。

快捷键

快捷键菜单中列出的键盘快捷键有助于您快速选择图标、撤消和重做注释,以及使用工具添加和编辑注释。例如,一旦添加了边界框,就可以使用 P 快速预测该边界框在后续帧中的位置。

在开始执行任务之前,建议您查看快捷键菜单并熟悉这些命令。

发布、停止和恢复以及拒绝任务

打开标注任务时,右上方的三个按钮允许您拒绝任务(拒绝任务)、释放任务(释放任务)以及停止任务并稍后继续任务(停止并稍后继续)。以下列表描述了选择这些选项时会发生的情况:

  • 拒绝任务:只有在任务出现问题(如视频帧图像不清晰或用户界面有问题)时,您才可以拒绝任务。如果您拒绝某项任务,您将无法返回到该任务。

  • 释放任务:使用此选项可释放任务,并允许其他人处理该任务。当您释放任务时,您将失去在该任务上完成的所有工作,而您团队中的其他工作人员可以接手该任务。如果有足够多的工作人员接手这项任务,您可能就无法返回到该任务。选择该按钮后再选择确认,您将返回到工作人员门户。如果该任务仍可用,则其状态将为可用。如果其他工作人员接手该任务,它将从您的门户中消失。

  • 停止并稍后继续:您可以使用停止并稍后继续按钮停止工作,稍后再返回任务。在选择停止并稍后继续之前,应使用保存按钮保存您的工作。选择该按钮后再选择确认,您将返回到工作人员门户,任务状态为已停止。您可以选择相同的任务以继续执行该任务。

    请注意,创建标注任务的人员指定了一个时间限制,在此限制内所有任务都需要完成。如果您没有在该时间限制内返回并完成该任务,则该任务将过期,并且您的工作将不会提交。更多信息请联系您的管理员。

保存您的工作并提交

您应定期保存自己的工作。Ground Truth 每 15 分钟自动保存一次您的工作。

打开任务时,必须先完成任务,然后再按提交