视频帧对象跟踪 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

视频帧对象跟踪

您可以使用视频帧对象跟踪任务类型让工作人员使用边界框、折线、多边形或关键点来跟踪视频帧序列(从视频中提取的图像)中的对象移动注释工具. 您选择的工具定义了您创建的视频帧任务类型。例如,您可以使用边界框视频帧对象跟踪任务类型以请求工作人员通过在其周围绘制框以跟踪它们的移动情况,从而跟踪它们的移动情况。

您提供类别列表,工作人员添加到视频帧的每个注释都被标识为实例使用实例 ID 的该类别。例如,如果您提供了标签类别汽车,则工作人员注释的第一辆汽车将具有实例 ID 卡:1。工作人员注释的第二辆汽车将具有实例 ID 卡:2。为了跟踪对象的移动,工作人员将与相同实例 ID 关联的注释添加到所有帧中的对象中。

您可以使用 Amazon SageMaker Ground Truth 控制台、SageMaker API 和特定于语言创建视频帧对象跟踪标签作业Amazon开发工具包。要了解更多信息,请参阅创建视频帧对象检测标记 Job然后选择您的首选方法。请参阅任务类型以了解在创建标记作业时可以从中选择的注释工具的更多信息。

Ground Truth 提供了工作人员用户界面和工具来完成标签作业任务:预览工作人员 UI.

您可以创建作业以使用视频对象检测调整任务类型以调整在视频对象检测标记作业中创建的注释。要了解更多信息,请参阅 创建视频帧物体检测调整或验证标签 Job

预览工作人员 UI

Ground Truth 为工作人员提供了 Web 用户界面 (UI) 以完成视频帧对象跟踪注释任务。在控制台中创建标记作业时,您可以预览该工作人员 UI 并与之交互。如果您是新用户,建议您使用小型输入数据集通过控制台创建标记作业,从而预览工作人员 UI 并确保视频帧、标签和标签属性按预期方式显示。

UI 为工作人员提供了以下辅助标签工具来完成对象跟踪任务:

  • 对于所有任务,工作人员可以使用复制到下一个复制到所有功能,用于将具有相同唯一 ID 的注释分别复制到下一帧或所有后续帧。

  • 对于包含边界框工具的任务,工作人员可以使用下一步预测在单个帧中绘制边界框的功能,然后让 Ground Truth 预测所有其他帧中具有相同唯一 ID 的框的位置。然后,工作人员可以进行调整以正确预测的箱子位

以下视频展示了工作人员如何使用带有边界框工具的工作人员 UI 来完成对象跟踪任务。

创建视频帧对象跟踪标记 Job

您可以使用 SageMaker 控制台或CreateLabelingJobAPI 操作。

本部分假定您已查看视频帧标签 Job 概述并选择了您正在使用的输入数据集的类型和输入数据集连接。

创建标记作业(控制台)

您可以按照中的说明操作:创建标记作业(控制台)以了解如何在 SageMaker 控制台中创建视频帧对象跟踪作业。在步骤 10 中,选择视频-对象跟踪来自 的任务类别下拉列表。通过在中选择其中的一张卡片来选择你想要的任务类型任务选择.

创建标记作业 (API)

您可以使用 SageMaker API 操作创建对象跟踪标签作业CreateLabelingJob. 该 API 为所有 Amazon 开发工具包定义了该操作。要查看此操作支持的特定于语言的 SDK 列表,请查看另请参阅的部分CreateLabelingJob.

创建标记作业 (API)概述了 CreateLabelingJob 操作。请按照这些说明进行操作,并在配置请求时执行以下操作:

  • 您必须为 HumanTaskUiArn 输入一个 ARN。使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking。Replace<region>使用Amazon在其中创建标记作业的区域。

    请勿包含UiTemplateS3Uri参数。

  • LabelAttributeName 必须以 -ref 结尾。例如:ot-labels-ref

  • 输入清单文件必须是视频帧序列清单文件。您可以使用 SageMaker 控制台创建此清单文件,也可以手动创建该清单文件并将其上传到 Amazon S3。有关更多信息,请参阅 输入数据设置。如果您创建流式标签作业,则输入清单文件是可选的。

  • 您只能使用私人或供应商工作团队来创建视频帧对象检测标签作业。

  • 您可以在标签类别配置文件中指定标签、标签类别和帧属性、任务类型和工作人员说明。使用指定任务类型(边界框、折线、多边形或关键点)annotationType在标签类别配置文件中。有关更多信息,请参阅创建具有标签类别和框架属性的标记类别配置文件以了解如何创建该文件。

  • 您需要为注释前和注释后 (ACS) Lambda 函数提供预定义的 ARN。这些 ARN 特定于您用于创建标记作业的 Amazon 区域。

    • 要查找注释前 Lambda ARN,请参阅。PreHumanTaskLambdaArn. 请使用您在其中创建标记作业的区域以查找以结尾的正确 ARNPRE-VideoObjectTracking.

    • 要查找注释后 Lambda ARN,请参阅。AnnotationConsolidationLambdaArn. 请使用您在其中创建标记作业的区域以查找以结尾的正确 ARNACS-VideoObjectTracking.

  • NumberOfHumanWorkersPerDataObject 中指定的工作人员数必须为 1

  • 视频帧标记作业不支持自动数据标记。请勿在中指定参数值LabelingJobAlgorithmsConfig.

  • 视频帧对象跟踪标记作业可能需要几小时才能完成。您可以在 TaskTimeLimitInSeconds 中为这些标记作业指定更长的时间限制(最多 7 天或 604,800 秒)。

以下是一个示例:AmazonPython 软件开发工具包 (Boto3) 请求以在美国东部(弗吉尼亚北部)区域创建标记作业。

response = client.create_labeling_job( LabelingJobName='example-video-ot-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://DOC-EXAMPLE-BUCKET/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://DOC-EXAMPLE-BUCKET/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking', 'TaskKeywords': [ 'Video Frame Object Tracking, ], 'TaskTitle': 'Video frame object tracking task', 'TaskDescription': Tracking the location of objects and people across video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

创建视频帧对象跟踪调整或验证标签 Job

您可以使用 Ground Truth 控制台创建调整和验证标记作业,或CreateLabelingJobAPI。要了解有关调整和验证标签作业的更多信息,以及了解如何创建任务,请参阅验证和调整标签.

输出数据格式

在创建视频帧对象跟踪标记作业时,任务将发送给工作人员。在这些工作人员完成其任务时,标签将写入到在创建标记作业时指定的 Amazon S3 输出位置。要了解视频帧对象跟踪输出数据格式,请参阅。视频帧对象跟踪输出. 如果您是 Ground Tiruth 的新用户,请参阅。输出数据以了解有关 Ground Truth 输出数据格式的更多信息。