创建和启动人工循环 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建和启动人工循环

人工循环 启动人工审核工作流,并将数据审核任务发送给工作人员。如果您使用某种 Amazon A2I 内置任务类型,则将显示相应的Amazon如果满足流定义中指定的条件,则服务会代表您创建并启动人工循环。如果未在流定义中指定任何条件,则为每个对象创建一个人工循环。在将 Amazon A2I 用于自定义任务时,应用程序调用时会启动人工循环。StartHumanLoop.

按照以下说明操作,使用 Amazon Rekognition 或 Amazon Textract 内置任务类型以及自定义任务类型配置人工循环。

先决条件

要创建和启动人工循环,您必须附加AmazonAugmentedAIFullAccess的策略Amazon Identity and Access Management(IAM) 用户或角色,用于配置或启动人工循环。这是您用来通过使用配置人工循环的身份。HumanLoopConfig对于内置任务类型。对于自定义任务类型,这是您用于调用的身份。StartHumanLoop.

此外,在使用内置任务类型时,您的 IAM 用户或角色必须有权调用Amazon与您的任务类型相关联的服务。例如,如果您使用带 Augmented AI 的 Amazon Rekognition,您必须附加调用所需的权限。DetectModerationLabels. 有关可用于授予这些权限的基于身份的策略的示例,请参阅 Amazon Rekognition 基于身份的策略示例Amazon Textract 基于身份的策略示例。您也可以使用更一般的策略AmazonAugmentedAIIntegratedAPIAccess以授予这些权限。有关更多信息,请参阅 创建具有调用 Amazon A2I、Amazon Textract 和 Amazon Rekognition API 操作权限的 IAM 用户

要创建和启动人工循环,您需要提供流定义 ARN。要了解如何创建流定义(或人工审核工作流),请参阅创建人工审核工作流程

重要

Amazon A2I 要求所有包含人工循环输入映像数据的 S3 存储桶都必须附加 CORS 策略。要详细了解有关此更改的信息,请参CORS 权限要求.

为内置任务类型创建和启动人工循环

要使用内置任务类型启动人工循环,请使用相应服务的 API 来提供输入数据并配置人工循环。对于 Amazon Textract,您可以使用AnalyzeDocumentAPI 操作。对于 Amazon Rekognition,您可以使用DetectModerationLabelsAPI 操作。您可以使用Amazon CLI或特定于语言的开发工具包以使用这些 API 操作来创建请求。

重要

当使用内置任务类型创建人工循环时,您可以使用DataAttributes指定一组ContentClassifiers与向提供的输入相关StartHumanLoopoperation. 使用内容分类器声明您的内容不含个人身份信息或成人内容。

要使用 Amazon Mechanical Turk,请确保您的数据中没有个人身份信息,包括 HIPAA 规定的受保护的健康信息。加入FreeOfPersonallyIdentifiableInformation内容分类器。如果你不使用此内容分类器, SageMaker 不会将你的任务发送给 Mechanical Turk。如果您的数据不含成人内容,请包含'FreeOfAdultContent'分类器。如果您不使用这些内容分类器, SageMaker 可能会限制可以查看您的任务的 Mechanical Turk 员。

在使用内置任务类型启动 ML 作业后Amazon服务 API,Amazon A2I 监控该服务的推理结果。例如,在使用 Amazon Rekognition 运行作业时,Amazon A2I 会检查每个图像的推理置信度分数,并将其与流定义中指定的置信度阈值进行比较。如果满足启动人工审核任务的条件,或者如果您未在流定义中指定条件,则人工审核任务将发送到工作人员。

创建一个 Amazon Textract 人工循环

Amazon A2I 将与 Amazon Textract 集成,以便您能够使用 Amazon Textract API 配置和启动人工循环。要将文档文件发送到 Amazon Textract 以进行文档分析,您可以使用 Amazon TextractAnalyzeDocumentAPI 操作. 要向此文档分析作业添加人工循环,必须配置参数HumanLoopConfig.

当配置人工循环时,您在中指定的流定义FlowDefinitionArnHumanLoopConfig必须位于相同的位置Amazon区域作为中标识的存储桶BucketDocument参数。

下表显示了如何将此操作与Amazon CLI和Amazon SDK for Python (Boto3).

Amazon SDK for Python (Boto3)

以下请求示例使用 SDK for Python (Boto3)。有关更多信息,请参阅 。分析 _文档中的Amazon适用于 Python 的开发工具包 (Boto) API 参考.

import boto3 textract = boto3.client('textract', aws_region) response = textract.analyze_document( Document={'S3Object': {'Bucket': bucket_name, 'Name': document_name}}, FeatureTypes=["TABLES", "FORMS"], HumanLoopConfig={ 'FlowDefinitionArn': 'arn:aws:sagemaker:aws_region:aws_account_number:flow-definition/flow_def_name', 'HumanLoopName': 'human_loop_name', 'DataAttributes': {'ContentClassifiers': ['FreeOfPersonallyIdentifiableInformation','FreeOfAdultContent']} } )
Amazon CLI

以下请求示例使用 Amazon CLI。有关更多信息,请参阅 。文档分析中的Amazon CLI命令参考.

$ aws textract analyze-document \ --document '{"S3Object":{"Bucket":"bucket_name","Name":"document_name"}}' \ --human-loop-config HumanLoopName="human_loop_name",FlowDefinitionArn="arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name",DataAttributes='{ContentClassifiers=["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}' \ --feature-types '["TABLES", "FORMS"]'
$ aws textract analyze-document \ --document '{"S3Object":{"Bucket":"bucket_name","Name":"document_name"}}' \ --human-loop-config \ '{"HumanLoopName":"human_loop_name","FlowDefinitionArn":"arn:aws:sagemaker:aws_region:aws_account_number:flow-definition/flow_def_name","DataAttributes": {"ContentClassifiers":["FreeOfPersonallyIdentifiableInformation","FreeOfAdultContent"]}}' \ --feature-types '["TABLES", "FORMS"]'

跑完之后AnalyzeDocument配置了人类循环后,Amazon A2I 会监控来自AnalyzeDocument并根据流定义的激活条件检查该内容。如果一个或多个键值对的 Amazon Textract 推理置信度分数满足审核条件,将启动人工审核循环,并包含HumanLoopActivationOutput在中的对象执行AnalyzeDocument响应。

创建 Amazon Rekognition 人类循环

Amazon A2I 将与 Amazon Rekognition 集成,以便您能够使用 Amazon Rekognition API 配置和启动人工循环。要将图像发送到 Amazon Rekognition 以进行内容审核,您可以使用 Amazon RekognitionDetectModerationLabelsAPI 操作. 要配置人工循环,请在配置 DetectModerationLabels 时设置 HumanLoopConfig 参数。

当配置人工循环时,您在中指定的流定义FlowDefinitionArnHumanLoopConfig必须位于相同的位置Amazon区域为中标识的 S3 存储桶BucketImage参数。

下表显示了如何将此操作与Amazon CLI和Amazon SDK for Python (Boto3).

Amazon SDK for Python (Boto3)

以下请求示例使用 SDK for Python (Boto3)。有关更多信息,请参阅 。detect_moderation_label中的Amazon适用于 Python 的开发工具包 (Boto) API 参考.

import boto3 rekognition = boto3.client("rekognition", aws_region) response = rekognition.detect_moderation_labels( \ Image={'S3Object': {'Bucket': bucket_name, 'Name': image_name}}, \ HumanLoopConfig={ \ 'HumanLoopName': 'human_loop_name', \ 'FlowDefinitionArn': , "arn:aws:sagemaker:aws_region:aws_account_number:flow-definition/flow_def_name" \ 'DataAttributes': {'ContentClassifiers': ['FreeOfPersonallyIdentifiableInformation','FreeOfAdultContent']} })
Amazon CLI

以下请求示例使用 Amazon CLI。有关更多信息,请参阅 。检测适用标签中的Amazon CLI命令参考.

$ aws rekognition detect-moderation-labels \ --image "S3Object={Bucket='bucket_name',Name='image_name'}" \ --human-loop-config HumanLoopName="human_loop_name",FlowDefinitionArn="arn:aws:sagemaker:aws_region:aws_account_number:flow-definition/flow_def_name",DataAttributes='{ContentClassifiers=["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}'
$ aws rekognition detect-moderation-labels \ --image "S3Object={Bucket='bucket_name',Name='image_name'}" \ --human-loop-config \ '{"HumanLoopName": "human_loop_name", "FlowDefinitionArn": "arn:aws:sagemaker:aws_region:aws_account_number:flow-definition/flow_def_name", "DataAttributes": {"ContentClassifiers": ["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}}'

跑完之后DetectModerationLabels配置了人类循环后,Amazon A2I 会监控来自DetectModerationLabels并根据流定义的激活条件检查该内容。如果一个图像的 Amazon Rekognition 推理置信度分数满足审核条件,将启动人工审核循环,并包含响应元素。HumanLoopActivationOutput中的DetectModerationLabels响应。

为自定义任务类型创建和启动人工循环

要为自定义人工审核任务配置人工循环,请在应用程序中使用 StartHumanLoop 操作。此部分提供了一个使用 Amazon SDK for Python (Boto3) 和 Amazon Command Line Interface (Amazon CLI) 的人工循环请求的示例。有关支持的其他特定于语言的 SDK 的文档StartHumanLoop,使用另请参阅部分StartHumanLoop在亚马逊 Augmented AI 运行时 API 文档中。请参阅使用 Amazon A2I 使用案例和示例以查看演示如何将 Amazon A2I 与自定义任务类型结合使用的示例。

先决条件

要完成此过程,您需要:

  • 格式设置为 JSON 格式文件的字符串表示形式的输入数据

  • 流定义的 Amazon 资源名称 (ARN)

配置人工循环

  1. 对于 DataAttributes,指定一组与提供给 StartHumanLoop 操作的输入相关的 ContentClassifiers。使用内容分类器声明您的内容不含个人身份信息或成人内容。

    要使用 Amazon Mechanical Turk,请确保您的数据中没有个人身份信息,包括 HIPAA 下的受保护的健康信息,并包括FreeOfPersonallyIdentifiableInformation内容分类器。如果你不使用此内容分类器, SageMaker 不会将你的任务发送给 Mechanical Turk。如果您的数据不含成人内容,请包含'FreeOfAdultContent'分类器。如果您不使用这些内容分类器, SageMaker 可能会限制可以查看您的任务的 Mechanical Turk 员。

  2. 对于 FlowDefinitionArn,输入流定义的 Amazon 资源名称 (ARN)。

  3. 对于 HumanLoopInput,以 JSON 格式文件的字符串表示形式输入您的输入数据。构建输入数据和自定义工作人员任务模板,以便在您启动人工循环时,向工作人员正确显示输入数据。请参阅预览工作人员任务模板以了解如何预览自定义工作人员任务模板。

  4. 对于 HumanLoopName,输入人工循环的名称。该名称在您账户所在的区域中必须唯一,并且最多可以包含 63 个字符。有效字符为 a-z、0-9 和-(连字符)。

启动人工循环

  • 要启动人工循环,请使用首选的特定于语言的开发工具包提交与以下示例类似的请求。

Amazon SDK for Python (Boto3)

以下请求示例使用 SDK for Python (Boto3)。有关更多信息,请参阅 。Boto 3 Augmented AI 运行时中的Amazon适用于 Python 的开发工具包 (Boto) API 参考.

import boto3 a2i_runtime_client = boto3.client('sagemaker-a2i-runtime') response = a2i_runtime_client.start_human_loop( HumanLoopName='human_loop_name', FlowDefinitionArn='arn:aws:sagemaker:aws-region:xyz:flow-definition/flow_def_name', HumanLoopInput={ 'InputContent': '{"InputContent": {\"prompt\":\"What is the answer?\"}}' }, DataAttributes={ 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } )
Amazon CLI

以下请求示例使用 Amazon CLI。有关更多信息,请参阅 。开始人类循环中的Amazon CLI命令参考.

$ aws sagemaker-a2i-runtime start-human-loop --flow-definition-arn 'arn:aws:sagemaker:aws_region:xyz:flow-definition/flow_def_name' \ --human-loop-name 'human_loop_name' \ --human-loop-input '{"InputContent": "{\"prompt\":\"What is the answer?\"}"}' \ --data-attributes ContentClassifiers="FreeOfPersonallyIdentifiableInformation","FreeOfAdultContent" \

当通过调用成功启动人工循环时StartHumanLoop直接,响应包括HumanLoopARNHumanLoopActivationResults对象设置为NULL. 您可以使用此人工循环名称来监控和管理您的人工循环。

后续步骤:

在启动人工循环后,您可以使用亚马逊 Augmented AI 运行时 API 和亚马逊来管理和监控该循环。 CloudWatch 事件。要了解更多信息,请参阅“监控和管理您的人工循环”。