视频帧标签 Job 概述 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

视频帧标签 Job 概述

使用此页可以了解对象检测和对象跟踪视频帧标记作业。此页面上的信息适用于这两种内置任务类型。

由于以下原因,视频帧标签作业是唯一的:

  • 您可以提供准备注释的数据对象(视频帧),也可以提供视频文件并让 Ground Truth 自动提取视频帧。

  • 员工有能力随时保存工作。

  • 您无法使用Amazon Mechanical Turk工作人员来完成标签任务。

  • Ground Truth 提供了一个工作人员用户界面以及辅助和基本的标签工具,以帮助员工完成任务。您无需提供工作人员任务模板。

可以使用以下主题了解更多信息。

输入数据

视频帧标签作业使用序列的视频帧。单个序列是从单个视频中提取的一系列图像。您可以提供自己的视频帧序列,也可以让 Ground Truth 自动从视频文件中提取视频帧序列。要了解更多信息,请参阅 提供视频文件

Ground Truth 使用序列文件在一个序列中识别所有图像。要包含在单个标签作业中的所有序列都会在输入清单文件中标识。每个序列都用于创建单个工作人员任务。您可以使用 Ground Truth 自动数据设置自动创建序列文件和输入清单文件。要了解更多信息,请参阅 自动视频帧输入数据设置

要了解如何手动创建序列文件和输入清单文件,请参阅创建视频帧输入清单文件.

作业完成时间

完成视频和视频帧标记作业可能需要几小时的时间。您可以在创建标记作业时设置工作人员可处理每个任务的总时间。您可以为工作人员处理任务设置的最长时间为 7 天。默认值为 3 天。

我们强烈建议您创建工作人员可在 12 小时内完成的任务。在处理任务时,工作人员必须将工作人员 UI 保持打开状态。他们可以随时保存工作,Ground Truth 每 15 分钟保存一次他们的工作。

使用 SageMaker 时CreateLabelingJob在 API 操作中设置工作人员可处理任务的总时间TaskTimeLimitInSeconds的参数HumanTaskConfig.

在控制台中创建标记作业时,您可以在选择人力类型和工作组时指定该时间限制。

任务类型

创建视频对象跟踪或视频对象检测标注作业时,您可以指定希望工作人员在处理标注任务时创建的注释类型。注释类型决定了 Ground Truth 返回的输出数据的类型,并定义任务类型为了您的标记作业。

如果您使用 API 操作创建标记作业,请参阅CreateLabelingJob,您可以使用标签类别配置文件参数指定任务类型annotationType. 要了解更多信息,请参阅 创建具有标签类别和框架属性的标记类别配置文件

以下任务类型可用于视频对象跟踪或视频对象检测标签作业:

  • 边界框— 为工作人员提供了创建边界框注释的工具。边界框是一个框,工作人员在对象周围绘制,以识别该对象在框架中的像素位置和标签。

  • 多边形— 为员工提供了创建折线注释的工具。折线由一系列有序的 x, y 坐标定义。添加到折线的每个点都将一条线连接到前一个点。折线不必关闭(起点和终点不一定相同),并且对线之间形成的角度没有限制。

  • — 为员工提供了创建多边形注释的工具。多边形是由一系列有序 x, y 坐标定义的封闭形状。添加到多边形的每个点都通过一条线连接到前一个点,并且对线之间形成的角度没有限制。多边形的两条线(边)不能交叉。多边形的起点和终点必须相同。

  • 关键点— 为员工提供了创建关键点注释的工具。关键点是与视频帧中的 x, y 坐标关联的单个点。

人力

在创建视频帧标记作业时,您需要指定一个工作组以完成注释任务。您可以从自己的工作人员的私有人力中选择一个工作组,或者从在 Amazon Web Services Marketplace 上选择的供应商人力中选择一个工作组。您不能使用 Amazon Mechanical Turk 工作人员进行视频帧标签工作。

要了解供应商人力的更多信息,请参阅管理供应商人力.

要了解如何创建和管理私有人力,请参阅使用私有人力

工作人员用户界面 (UI)

Ground Truth 提供了工作人员用户界面 (UI)、工具和辅助标记功能,以帮助工作人员完成视频标记任务。在控制台中创建标记作业时,您可以预览工作人员 UI。

在使用 API 操作创建标记作业时CreateLabelingJob,您必须在参数中提供 Ground Truth 提供的 ARNHumanTaskUiArn以便为任务类型指定工作器用户界面。您可以使用HumanTaskUiArn与 SageMaker 一起使用RenderUiTemplate预览工作人员 UI 的 API 操作。

您可以提供工作人员说明、标签以及属性(可选),以供工作人员提供有关标签和视频帧的更多信息。这些属性分别称为标签类别属性和框架属性。它们都显示在工作人员 UI 中。

标签类别和框架属性

在创建视频对象跟踪或视频对象检测标记作业时,您可以添加一个或多个标签类别属性帧属性

  • 标签类别属性— 选项(字符串)、自由格式文本框或与一个或多个标签关联的数值字段的列表。工作人员使用它来提供有关标签的元数据。

  • “帧” 属性— 发送工作人员进行注释的每个视频帧上显示的选项(字符串)、自由格式文本框或数字字段的列表。工作人员使用它来提供有关视频帧的元数据。

此外,您可以使用标签和帧属性让工作人员在视频帧标签验证作业中验证标签。

可以使用以下部分了解这些属性的更多信息。要了解如何向标注作业添加标签类别和框架属性,请使用创建标记 Job章节内容“任务类型” 页您选择的。

帧级属性

添加帧属性以使工作人员能够提供有关单个视频帧的更多信息。您添加的每个帧属性都会显示在所有帧上。

例如,您可以添加数字帧属性,让工作人员识别他们在特定帧中看到的对象数量。

在另一个示例中,您可能想要提供一个自由格式文本框,让员工能够对问题提供答案。

创建标签验证作业时,您可以添加一个或多个帧属性,要求工作人员就视频帧中的所有标签提供反馈。

工作人员说明

您可以提供工作人员说明以帮助工作人员完成视频帧标记任务。在编写说明时,您可能想要介绍以下主题:

  • 注释对象时的最佳实践和要避免的事项。

  • 提供的标签类别属性(对于对象检测和对象跟踪任务)以及如何使用它们的方法。

  • 如何使用键盘快捷键在标记标记时节省时间。

在创建标记作业时,您可以使用 SageMaker 控制台添加工作人员说明。如果使用 API 操作 CreateLabelingJob 创建标记作业,您可以在标签类别配置文件中指定工作人员说明。

除了您的说明以外,Ground Truth 还提供一个链接以帮助工作人员导航和使用工作人员门户。请在工作人员说明中选择任务类型以查看这些说明。

拒绝任务

工作人员能够拒绝任务。

如果说明不清楚、输入数据不正确显示或遇到任务的其他问题,工作人员会拒绝任务。如果每个数据集对象的工作人员数量 (NumberOfHumanWorkersPerDataObject) 拒绝任务,数据对象被标记为已过期且不会发送给其他工作人员。

视频帧 Job 权限要求

当您创建视频帧标签作业时,除了中的权限要求之外分配 IAM 权限以使用 Ground Truth,您必须将一个 CORS 策略添加到包含输入清单文件的 S3 存储桶中。

将 CORS 权限策略添加到 S3 存储桶

在创建视频帧标记作业时,您可以在 S3 中指定输入数据和清单文件所在的存储桶以及存储输出数据的存储桶。这些存储桶可能是相同的。您必须将以下跨域资源共享 (CORS) 策略附加到输入和输出存储桶中。如果您使用 Amazon S3 控制台将策略添加到存储桶中,您必须使用 JSON 格式。

JSON

[ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "GET", "HEAD", "PUT" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ], "MaxAgeSeconds": 3000 } ]

XML

<?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedMethod>HEAD</AllowedMethod> <AllowedMethod>PUT</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>

要了解如何将 CORS 策略添加到 S3 存储桶,请参阅如何通过 CORS 添加跨域资源共享?在《亚马逊简单存储服务用户指南》中。