视频帧对象检测 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

视频帧对象检测

您可以使用视频帧对象检测任务类型让 worker 使用边界框、折线、多边形或关键点标识和定位视频帧序列中的对象(从视频中提取的图像)注释工具. 您选择的工具定义了您创建的视频帧任务类型。例如,您可以使用边界框视频帧对象检测任务类型工作人员识别和定位一系列视频帧中的各种对象,例如汽车、自行车和行人。

您可以使用 Amazon SageMaker 地面真相控制台、SageMaker API 和特定语言创建视频帧对象检测标签作业Amazon开发工具包。要了解更多信息,请参阅创建视频帧对象检测标记 Job并选择您的首选方法。请参阅任务类型以了解有关在创建标记作业时可以选择的注释工具的详细信息。

Ground Truth 提供了一个工作人员用户界面和工具来完成标注作业任务:预览工作人员 UI.

您可以创建一个作业,以使用视频对象检测调整任务类型调整在视频对象检测标记作业中创建的注释。要了解更多信息,请参阅“创建视频帧对象检测调整或验证标签 Job”。

预览工作人员 UI

Ground Truth 为工作人员提供了 Web 用户界面 (UI) 以完成视频帧对象检测注释任务。在控制台中创建标记作业时,您可以预览该工作人员 UI 并与之交互。如果您是新用户,建议您使用小型输入数据集通过控制台创建标记作业,以预览工作人员 UI,并确保视频帧、标签和标签属性按预期方式显示。

UI 为工作人员提供了以下辅助标签工具来完成对象检测任务:

  • 对于所有任务,工作人员可以使用复制到下一个复制到所有功能分别将注记复制到下一帧或所有后续帧。

  • 对于包含边界框工具的任务,工作人员可以使用预测下一步功能在单个帧中绘制边界框,然后让 “Ground Truth 值” 预测所有其他帧中具有相同标签的框的位置。然后,工作人员可以进行调整以更正预测的箱子位置。

以下视频显示了工作人员如何使用工作人员 UI 与边界框工具完成对象检测任务。

创建视频帧对象检测标记 Job

您可以使用 SageMaker 控制台或CreateLabelingJobAPI 操作。

此部分假设您已查看视频帧标签 Job 概述并选择了输入数据的类型和您正在使用的输入数据集连接。

创建标记作业(控制台)

可以按照中的说明操作。创建标记作业(控制台)以了解如何在 SageMaker 控制台中创建视频帧对象跟踪作业。在步骤 10 中,选择视频-对象检测来自 的任务类别下拉列表。选择所需的任务类型,方法是在任务选择.

创建标记作业 (API)

使用 SageMaker API 操作创建对象检测标签作业CreateLabelingJob. 该 API 为所有 Amazon 开发工具包定义了该操作。要查看此操作支持的语言特定 SDK 的列表,请查看另请参阅部分CreateLabelingJob.

创建标记作业 (API)概述了 CreateLabelingJob 操作。请按照这些说明进行操作,并在配置请求时执行以下操作:

  • 您必须为 HumanTaskUiArn 输入一个 ARN。使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectDetection。Replace<region>与Amazon要在其中创建标记作业的区域。

    不要包含UiTemplateS3Uri参数。

  • LabelAttributeName 必须以 -ref 结尾。例如:video-od-labels-ref

  • 输入清单文件必须是视频帧序列清单文件。您可以使用 SageMaker 控制台创建此清单文件,也可以手动创建该清单文件并将其上传到 Amazon S3。有关更多信息,请参阅输入数据设置

  • 您只能使用专用或供应商工作团队创建视频帧对象检测标签作业。

  • 您可以在标签类别配置文件中指定标签、标签类别和框架属性、任务类型和工作人员说明。指定任务类型(边界框、折线、面或关键点),使用annotationType在标签类别配置文件中。有关更多信息,请参阅创建带有标签类别和帧属性的标签类别配置文件以了解如何创建该文件。

  • 您需要为注释前和注释后 (ACS) Lambda 函数提供预定义的 ARN。这些 ARN 特定于您用于创建标记作业的 Amazon 区域。

    • 要查找注释前 Lambda ARN,请参阅PreHumanTaskLambdaArn. 请使用您在其中创建标记作业的区域以查找以结尾的正确 ARN。PRE-VideoObjectDetection.

    • 要查找注释后 Lambda ARN,请参阅AnnotationConsolidationLambdaArn. 请使用您在其中创建标记作业的区域以查找以结尾的正确 ARN。ACS-VideoObjectDetection.

  • NumberOfHumanWorkersPerDataObject 中指定的工作人员数必须为 1

  • 视频帧标记作业不支持自动数据标签。请勿在中指定参数值LabelingJobAlgorithmsConfig.

  • 视频帧对象跟踪标记作业可能需要几小时才能完成。您可以在 TaskTimeLimitInSeconds 中为这些标记作业指定更长的时间限制(最多 7 天或 604,800 秒)。

以下是一个示例配置文件AmazonPython 软件开发工具包 (Boto3) 请求以在 US East (N. Virginia) 区域创建标记作业。

response = client.create_labeling_job( LabelingJobName='example-video-od-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://DOC-EXAMPLE-BUCKET/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://DOC-EXAMPLE-BUCKET/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectDetection' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectDetection', 'TaskKeywords': [ 'Video Frame Object Detection', ], 'TaskTitle': 'Video frame object detection task', 'TaskDescription': 'Classify and identify the location of objects and people in video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectDetection' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

创建视频帧对象检测调整或验证标签 Job

您可以使用 Ground Truth 控制台或CreateLabelingJobAPI。要了解有关调整和验证标签作业的详细信息,并了解如何创建一个作业,请参阅验证和调整标签.

输出数据格式

在创建视频帧对象检测标记作业时,任务将发送给工作人员。在这些工作人员完成其任务时,标签将写入到在创建标记作业时指定的 Amazon S3 输出位置。要了解视频帧对象检测输出数据格式,请参阅视频帧对象检测输出. 如果您是 Ground Truth 的新用户,请参阅输出数据以了解有关 Ground Truth 值输出数据格式的更多信息。