创建和启动人工循环 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建和启动人工循环

人工循环 启动人工审核工作流,并将数据审核任务发送给工作人员。如果您使用某种 Amazon A2I 内置任务类型,则相应的 AWS 服务会在满足流定义中指定的条件时代表您创建并启动人工循环。如果未在流定义中指定任何条件,则为每个对象创建一个人工循环。如果将 Amazon A2I 用于自定义任务,则在应用程序中调用 StartHumanLoop 时,人工循环将启动。

按照以下说明操作,使用 Amazon Rekognition 或 Amazon Textract 内置任务类型以及自定义任务类型配置人工循环。

先决条件

要创建和启动人工循环,必须将 AmazonAugmentedAIFullAccess 策略附加到用于配置或启动人工循环的 AWS Identity and Access Management (IAM) 用户或角色。这是您用于通过 HumanLoopConfig 为内置任务类型配置人工循环的身份。对于自定义任务类型,这是您用于调用 StartHumanLoop 的身份。

此外,在使用内置任务类型时,您的 IAM 用户或角色必须有权调用与任务类型关联的 AWS 服务的 API 操作。例如,如果将 Amazon Rekognition 与 Augmented AI 一起使用,您必须附加调用 DetectModerationLabels 所需的权限。有关可用于授予这些权限的基于身份的策略的示例,请参阅 Amazon Rekognition 基于身份的策略示例Amazon Textract 基于身份的策略示例。您也可以使用更一般的策略 AmazonAugmentedAIIntegratedAPIAccess 以授予这些权限。有关更多信息,请参阅创建有权调用 IAM、Amazon A2I 和 Amazon Textract API 操作的 Amazon Rekognition 用户

要创建和启动人工循环,您需要提供一个流定义 ARN。要了解如何创建流定义(或人工审核工作流),请参阅创建人工审核工作流程

重要

Amazon A2I 要求包含人工循环输入图像数据的所有 S3 存储桶都附加了 CORS 策略。要了解有关此更改的更多信息,请参阅CORS 权限要求

为内置任务类型创建和启动人工循环

要使用内置任务类型启动人工循环,请使用相应服务的 API 来提供输入数据并配置人工循环。对于 Amazon Textract,您可以使用 AnalyzeDocument API 操作。对于 Amazon Rekognition,您可以使用 DetectModerationLabels API 操作。您可以使用 AWS CLI 或特定于语言的开发工具包通过这些 API 操作来创建请求。

重要

使用内置任务类型创建人工循环时,您可以使用 DataAttributes 指定一组与提供给 ContentClassifiers 操作的输入StartHumanLoop相关的 。使用内容分类器声明您的内容不含个人身份信息或成人内容。

要使用 Amazon Mechanical Turk,请确保您的数据不含个人身份信息,包括 HIPAA 下的受保护的健康信息,并包括FreeOfPersonallyIdentifiableInformation内容分类器。如果您不使用此内容分类器, SageMaker 不会将您的任务发送到 Mechanical Turk。如果您的数据不含成人内容,则还包括 'FreeOfAdultContent' 分类器。如果您不使用这些内容分类器,则 SageMaker 可能会限制可以查看您的任务的 Mechanical Turk 工作人员。

在使用内置任务类型的 AWS 服务 API 启动 ML 作业后,Amazon A2I 将监控该服务的推理结果。例如,在使用 Amazon Rekognition 运行作业时,Amazon A2I 会检查每个图像的推理置信度分数,并将其与流定义中指定的置信度阈值进行比较。如果满足启动人工审核任务的条件,或者如果您未在流定义中指定条件,则人工审核任务将发送到工作人员。

创建 Amazon Textract 人工循环

Amazon A2I 将与 Amazon Textract 集成,以便您能够使用 Amazon Textract API 配置和启动人工循环。要将文档文件发送到 Amazon Textract 以进行文档分析,请使用 Amazon Textract AnalyzeDocument API 操作。要将人工循环添加到此文档分析作业,您必须配置参数 HumanLoopConfig

当您配置人工循环时,您在 中指定的流定义FlowDefinitionArnHumanLoopConfig必须位于与Bucket在 参数的 中指定的 存储桶相同的 AWS Document 区域中。

下表显示了如何将此操作与 AWS CLI 和 结合使用的示例适用于 Python (Boto3) 的 AWS 软件开发工具包。

适用于 Python (Boto3) 的 AWS 软件开发工具包

以下请求示例使用 适用于 Python (Boto3) 的开发工具包。有关更多信息,请参阅 中的 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/textract.html#Textract.Client.analyze_document AWS SDK for Python (Boto) API Referenceanalytics_document。

import boto3 textract = boto3.client('textract', aws-region) response = textract.analyze_document( Document={'S3Object': {'Bucket': bucket_name, 'Name': document_name}}, FeatureTypes=["TABLES", "FORMS"], HumanLoopConfig={ 'FlowDefinitionArn': 'arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name', 'HumanLoopName': 'human_loop_name', 'DataAttributes': {'ContentClassifiers': ['FreeOfPersonallyIdentifiableInformation','FreeOfAdultContent']} } )
AWS CLI

以下请求示例使用 AWS CLI。有关更多信息,请参阅 中的 https://docs.amazonaws.cn/cli/latest/reference/textract/analyze-document.html AWS CLI Command Referenceanalytics-document。

$ aws textract analyze-document \ --document '{"S3Object":{"Bucket":"bucket_name","Name":"document_name"}}' \ --human-loop-config HumanLoopName="human_loop_name",FlowDefinitionArn="arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name",DataAttributes='{ContentClassifiers=["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}' \ --feature-types '["TABLES", "FORMS"]'
$ aws textract analyze-document \ --document '{"S3Object":{"Bucket":"bucket_name","Name":"document_name"}}' \ --human-loop-config \ '{"HumanLoopName":"human_loop_name","FlowDefinitionArn":"arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name","DataAttributes": {"ContentClassifiers":["FreeOfPersonallyIdentifiableInformation","FreeOfAdultContent"]}}' \ --feature-types '["TABLES", "FORMS"]'

在配置了人工循环的情况下运行 AnalyzeDocument 后,Amazon A2I 将监控来自 AnalyzeDocument 的结果,并根据流定义的激活条件检查该结果。如果一个或多个键/值对的 Amazon Textract 推理置信度分数满足审核条件,Amazon A2I 将启动人工审核循环,并将 HumanLoopActivationOutput 对象包含在 AnalyzeDocument 响应中。

创建 Amazon Rekognition 人工循环

Amazon A2I 将与 Amazon Rekognition 集成,以便您能够使用 Amazon Rekognition API 配置和启动人工循环。要将图像发送到 Amazon Rekognition 以进行内容审核,请使用 Amazon Rekognition DetectModerationLabels API 操作。要配置人工循环,请在配置 HumanLoopConfig 时设置 DetectModerationLabels 参数。

当您配置人工循环时,您在 中指定的流定义FlowDefinitionArnHumanLoopConfig必须位于与Bucket在 参数的 中指定的 S3 存储桶相同的 AWS Image 区域中。

下表显示了如何将此操作与 AWS CLI 和 结合使用的示例适用于 Python (Boto3) 的 AWS 软件开发工具包。

适用于 Python (Boto3) 的 AWS 软件开发工具包

以下请求示例使用 适用于 Python (Boto3) 的开发工具包。有关更多信息,请参阅 中的 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/rekognition.html#Rekognition.Client.detect_moderation_labels AWS SDK for Python (Boto) API Referencedetect_moderation_labels。

import boto3 rekognition = boto3.client("rekognition", aws-region) response = rekognition.detect_moderation_labels( \ Image={'S3Object': {'Bucket': bucket_name, 'Name': image_name}}, \ HumanLoopConfig={ \ 'HumanLoopName': 'human_loop_name', \ 'FlowDefinitionArn': , "arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name" \ 'DataAttributes': {'ContentClassifiers': ['FreeOfPersonallyIdentifiableInformation','FreeOfAdultContent']} })
AWS CLI

以下请求示例使用 AWS CLI。有关更多信息,请参阅 中的 https://docs.amazonaws.cn/cli/latest/reference/rekognition/detect-moderation-labels.html AWS CLI Command Referencedetect-moderation-labels。

$ aws rekognition detect-moderation-labels \ --image "S3Object={Bucket='bucket_name',Name='image_name'}" \ --human-loop-config HumanLoopName="human_loop_name",FlowDefinitionArn="arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name",DataAttributes='{ContentClassifiers=["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}'
$ aws rekognition detect-moderation-labels \ --image "S3Object={Bucket='bucket_name',Name='image_name'}" \ --human-loop-config \ '{"HumanLoopName": "human_loop_name", "FlowDefinitionArn": "arn:aws:sagemaker:aws-region:aws_account_number:flow-definition/flow_def_name", "DataAttributes": {"ContentClassifiers": ["FreeOfPersonallyIdentifiableInformation", "FreeOfAdultContent"]}}'

在配置了人工循环的情况下运行 DetectModerationLabels 后,Amazon A2I 将监控来自 DetectModerationLabels 的结果,并根据流定义的激活条件检查该结果。如果一个图像的 Amazon Rekognition 推理置信度分数满足审核条件,Amazon A2I 将启动人工审核循环,并将响应元素 HumanLoopActivationOutput 响应对象包含在 DetectModerationLabels 响应中。

为自定义任务类型创建和启动人工循环

要为自定义人工审核任务配置人工循环,请在应用程序中使用 StartHumanLoop 操作。此部分提供了一个使用 适用于 Python (Boto3) 的 AWS 软件开发工具包 和 AWS Command Line Interface (AWS CLI) 的人工循环请求的示例。有关支持 的其他语言特定开发工具包的文档StartHumanLoop,请使用 运行时 API 文档中的 StartHumanLoop 的另Amazon Augmented AI请参阅部分。请参阅 使用 的使用案例和示例 Amazon A2I 以查看演示如何将 Amazon A2I 与自定义任务类型结合使用的示例。

先决条件

要完成此过程,您需要:

  • 格式设置为 JSON 格式文件的字符串表示形式的输入数据。

  • 流定义的 Amazon 资源名称 (ARN)

  • 流定义 ARN。

配置人工循环

  1. 对于 DataAttributes,指定一组与提供给 ContentClassifiers 操作的输入相关的 StartHumanLoop。使用内容分类器声明您的内容不含个人身份信息或成人内容。

    要使用 Amazon Mechanical Turk,请确保您的数据不含个人身份信息,包括 HIPAA 下的受保护的健康信息,并包括FreeOfPersonallyIdentifiableInformation内容分类器。如果您不使用此内容分类器, SageMaker 不会将您的任务发送到 Mechanical Turk。如果您的数据不含成人内容,则还包括 'FreeOfAdultContent' 分类器。如果您不使用这些内容分类器,则 SageMaker 可能会限制可以查看您的任务的 Mechanical Turk 工作人员。

  2. 对于 FlowDefinitionArn,输入流定义的 Amazon 资源名称 (ARN)。

  3. 对于 HumanLoopInput,以 JSON 格式文件的字符串表示形式输入您的输入数据。构建输入数据和自定义工作人员任务模板,以便在您启动人工循环时,向工作人员正确显示输入数据。请参阅以了解如何预览自定义工作人员任务模板。

  4. 对于 HumanLoopName,输入人工循环的名称。该名称在您账户所在的 区域中必须唯一,并且最多可以包含 63 个字符。有效字符:a-z、0-9 和 -(连字符)。

启动人工循环

  • 要启动人工循环,请使用首选的特定于语言的开发工具包提交与以下示例类似的请求。

适用于 Python (Boto3) 的 AWS 软件开发工具包

以下请求示例使用 适用于 Python (Boto3) 的开发工具包。有关更多信息,请参阅 中的 Boto 3 Augmented AI AWS SDK for Python (Boto) API Reference运行时

import boto3 a2i_runtime_client = boto3.client('sagemaker-a2i-runtime') response = client.start_human_loop( HumanLoopName='human_loop_name', FlowDefinitionArn='arn:aws:sagemaker:aws-region:xyz:flow-definition/hl_name', HumanLoopInput={ 'InputContent': '{"InputContent": "{\"prompt\":\"What is the answer?\"}"}' }, DataAttributes={ 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } )
AWS CLI

以下请求示例使用 AWS CLI。有关更多信息,请参阅 中的 https://docs.amazonaws.cn/cli/latest/reference/sagemaker-a2i-runtime/start-human-loop.html AWS CLI Command Referencestart-human-loop。

$ aws sagemaker-a2i-runtime start-human-loop --flow-definition-arn 'arn:aws:sagemaker:aws-region:xyz:flow-definition/hl_name' \ --human-loop-name 'human_loop_name' \ --human-loop-input '{"InputContent": "{\"prompt\":\"What is the answer?\"}"}' \ --data-attributes ContentClassifiers="FreeOfPersonallyIdentifiableInformation","FreeOfAdultContent" \

当您通过直接调用 StartHumanLoop 成功启动人工循环时,响应将包含一个 HumanLoopARN 和一个将设置为 HumanLoopActivationResultsNULL 对象。您可以使用此人工循环名称来监控和管理您的人工循环。

后续步骤:

在启动一个人工循环后,您可以使用 Amazon Augmented AI 运行时 API 和 Amazon CloudWatch Events 来管理和监控它。要了解更多信息,请参阅“监控和管理您的人工循环”。