视频帧标记作业概述 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

视频帧标记作业概述

可以使用此页面了解对象检测和对象跟踪视频帧标记作业。此页面上的信息适用于这两种内置任务类型。

由于以下原因,视频帧标记作业是唯一的:

  • 您可以提供准备好进行注释的数据对象(视频帧),也可以提供视频文件并让 Ground Truth 自动提取视频帧。

  • 工作人员可以即时保存工作。

  • 您不能使用 Amazon Mechanical Turk 人力来完成标记任务。

  • Ground Truth 提供工作人员 UI 以及辅助和基本标记工具,以帮助工作人员完成任务。您无需提供工作人员任务模板。

要了解更多信息,请参阅以下主题。

输入数据

视频帧标记作业使用视频帧序列。单个序列是从单个视频中提取的一系列图像。您可以提供自己的视频帧序列,或者让 自动从视频文件中Ground Truth提取视频帧序列。要了解更多信息,请参阅“提供视频文件”。

Ground Truth 使用序列文件来标识单个序列中的所有图像。要包含在单个标记作业中的所有序列在输入清单文件中标识。每个序列用于创建单个工作人员任务。您可以使用Ground Truth自动数据设置自动创建序列文件和输入清单文件。要了解更多信息,请参阅“自动视频帧输入数据设置”。

要了解如何手动创建序列文件和输入清单文件,请参阅创建视频帧输入清单文件

作业完成时间

视频和视频帧标记作业可能需要工作人员数小时才能完成。您可以在创建标记作业时设置工作人员可处理每个任务的总时间。您可以为工作人员处理任务设置的最长时间为 7 天。默认值为 3 天。

我们强烈建议您创建工作人员可在 12 小时内完成的任务。在处理任务时,工作人员必须将工作人员 UI 保持打开状态。他们可以即时保存工作,并每 15 分钟Ground Truth保存一次工作。

在使用 SageMaker CreateLabelingJob API 操作时,请在 TaskTimeLimitInSecondsHumanTaskConfig 参数中设置工作人员可处理任务的总时间。

在控制台中创建标记作业时,您可以在选择人力类型和工作组时指定该时间限制。

任务类型

在创建视频对象跟踪或视频对象检测标记作业时,您可以指定您希望工作人员在处理标记任务时创建的注释的类型。注释类型确定Ground Truth返回的输出数据的类型,并定义标记作业的任务类型

如果您使用 API CreateLabelingJob 操作 创建标记作业,则可使用标签类别配置文件参数 指定任务类型annotationType。要了解更多信息,请参阅“使用标签类别和帧属性创建标签类别配置文件”。

以下任务类型可用于视频对象跟踪或视频对象检测标记作业:

  • 边界框 – 为工作人员提供了用于创建边界框注释的工具。边界框是一个框,工作人员将围绕对象绘制该框来标识对象在帧中的像素位置和标签。

  • 多边形 为–工作人员提供了用于创建多边形注释的工具。多线由一系列有序 x、y 坐标定义。添加到多边形的每个点通过一条线连接到上一个点。多线不必闭合 (起点和终点不必相同),并且线之间形成的角度没有限制。

  • 多边形 为–工作人员提供了用于创建多边形注释的工具。多边形是由一系列有序的 x、y 坐标定义的闭合形状。添加到多边形的每个点通过一条线连接到上一个点,并且对线条之间形成的角度没有任何限制。多边形的两条线 (侧面) 不能相交。多边形的起点和终点必须相同。

  • 为关键点–工作人员提供了用于创建关键点注释的工具。关键点是与视频帧中的 x、y 坐标关联的单点。

Workforces

在创建视频帧标记作业时,您需要指定工作团队以完成注释任务。您可以从自己的工作人员的私有人力中选择一个工作组,或者从在 AWS Marketplace 上选择的供应商人力中选择一个工作组。您不能将 Amazon Mechanical Turk 人力用于视频帧标记作业。

要了解有关供应商人力的更多信息,请参阅管理供应商人力

要了解如何创建和管理私有人力,请参阅使用私有人力

工作人员用户界面 (UI)

Ground Truth 提供了一个工作人员用户界面 (UI)、工具和辅助标记功能,以帮助工作人员完成视频标记任务。在控制台中创建标记作业时,您可以预览工作人员 UI。

在使用 API 操作 CreateLabelingJob 创建标记作业时,您必须提供 Ground Truth 在 HumanTaskUiArn 参数中提供的 ARN,以便为任务类型指定工作人员 UI。您可以将 HumanTaskUiArn 与 SageMaker RenderUiTemplate API 操作一起使用以预览工作人员 UI。

您提供工作人员说明、标签以及(可选)属性,工作人员可以使用这些属性来提供有关标签和视频帧的更多信息。这些属性分别称为标签类别属性和帧属性。它们都显示在工作人员 UI 中。

标签类别和帧属性

在创建视频对象跟踪或视频对象检测标记作业时,您可以添加一个或多个标签类别属性帧属性

  • Label category attribute (标签类别属性) – 选项列表(字符串)、自由格式文本框或与一个或多个标签关联的数字字段。工作人员使用它来提供有关标签的元数据。

  • Frame attribute (帧属性) – 选项列表(字符串)、自由格式文本框或显示在每个视频帧上的数字字段(工作人员将发送到注释)。工作人员使用它来提供有关视频帧的元数据。

此外,您可以使用标签和帧属性让工作人员验证视频帧标签验证作业中的标签。

可以使用以下部分了解有关这些属性的更多信息。要了解如何将标签类别和帧属性添加到标记作业,请使用所选任务类型页面上的 Create Labeling Job (创建标记作业) 部分。

帧级别属性

添加帧属性以使工作人员能够提供有关各个视频帧的更多信息。您添加的每个帧属性将显示在所有帧上。

例如,您可以添加数字帧属性,让工作人员确定他们在特定帧中看到的对象数。

在另一个示例中,您可能希望提供自由格式的文本框,以使工作人员能够回答某个问题。

在创建标签验证作业时,您可以添加一个或多个帧属性,以要求工作人员提供有关视频帧中所有标签的反馈。

工作人员说明

您可以提供工作人员说明以帮助工作人员完成视频帧标记任务。您可能希望在编写说明时涵盖以下主题:

  • 注释对象时的最佳实践和要避免的事项。

  • 提供的标签类别属性(对于对象检测和对象跟踪任务)以及如何使用这些属性。

  • 如何使用键盘快捷键在标记时节省时间。

在创建标记作业时,您可以使用 SageMaker 控制台添加工作人员说明。如果使用 API 操作 CreateLabelingJob 创建标记作业,您可以在标签类别配置文件中指定工作人员说明。

除了说明以外,Ground Truth 还提供一个链接以帮助工作人员导航和使用工作人员门户。请在工作人员说明中选择任务类型以查看这些说明。

描述任务

工作人员可以拒绝任务。

如果说明不清晰、输入数据显示不正确或者工作线程遇到任务的其他一些问题,则工作人员会拒绝任务。如果每个数据集对象的工作人员数 (NumberOfHumanWorkersPerDataObject) 拒绝任务,则数据对象将标记为已过期,并且不会发送给其他工作人员。

视频帧作业权限要求

在创建视频帧标记作业时,除了在 中找到的权限要求之外分配使用 IAM 的 Ground Truth 权限,还必须将一个 CORS 策略添加到包含输入清单文件的 S3 存储桶中。

将 CORS 权限策略添加到 S3 存储桶

在创建视频帧标记作业时,您可以在 S3 中指定输入数据和清单文件所在的 存储桶以及存储输出数据的位置。这些存储桶可能是相同的。您必须将以下跨源资源共享 (CORS) 策略附加到输入和输出存储桶。如果您使用Amazon S3控制台将策略添加到存储桶,则必须使用 JSON 格式。

JSON

[ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "GET", "HEAD", "PUT" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ], "MaxAgeSeconds": 3000 } ]

XML

<?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedMethod>HEAD</AllowedMethod> <AllowedMethod>PUT</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>

要了解如何将 CORS 策略添加到 S3 存储桶,请参阅 中的如何使用 CORS 添加跨域资源共享Amazon Simple Storage Service 控制台用户指南?。