注释前和注释后 Lambda 函数要求

使用本部分可了解发送到注释前和注释后 Lambda 函数的请求的语法，以及 Red Thess 运行自定义标注工作流所需的响应语法。

注释前 Lambda

在将标记任务发送到工作人员之前，会调用注释前 Lambda 函数。

Ground Truth 发送您的 Lambda 函数一个 JSON 格式的请求，以提供有关标注作业和数据对象的详细信息。下表包含预注记请求方案。以下内容介绍了每个参数。

下表包含预注释请求的代码块示例。这些示例请求中的每个参数都在选项卡式表下面进行了说明。

作为回报，Ground Truth 需要格式如下所示的响应：

{
    "taskInput": <json object>,
    "isHumanAnnotationRequired": <boolean> # Optional
}

在前面的示例中，<json object>需要包含全部您的自定义工作人员任务模板需要的数据。如果您正在执行一个边界框任务（其中指令始终保持相同），则它可能只是您的图像文件的 HTTP (S) 或 Amazon S3 资源。如果它是一个情感分析任务且不同的对象可能具有不同的选择，则它是对象引用（作为字符串）和选项（作为字符串数组）。

如果你的清单中有一些对象的混合，有些需要人类注释，有些不需要它，你可以包含一个isHumanAnnotationRequired每个数据对象中的值。您可以将逻辑添加到预注释 Lambda 以动态确定对象是否需要注释，并相应地设置此布尔值。

预注释 Lambda 函数的示例

以下基本的预注释 Lambda 函数访问dataObject，并将其返回到taskInput参数。

import json

def lambda_handler(event, context):
    return {
        "taskInput":  event['dataObject']
    }

假设输入清单文件使用"source-ref"来标识数据对象，则与此预注释 Lambda 在同一标签作业中使用的工作任务模板必须包含类似以下内容的 Fulid 元素才能引入dataObject：

{{ task.input.source-ref | grant_read_access }}

如果输入清单文件使用source来标识数据对象，则工作任务模板可以引入dataObject改用如下权限：

{{ task.input.source }}

以下预注释 Lambda 示例包含用于标识dataObject，并指向该数据对象使用taskObject在 Lambda 的返回语句中。

import json

def lambda_handler(event, context):

    # Event received
    print("Received event: " + json.dumps(event, indent=2))

    # Get source if specified
    source = event['dataObject']['source'] if "source" in event['dataObject'] else None

    # Get source-ref if specified
    source_ref = event['dataObject']['source-ref'] if "source-ref" in event['dataObject'] else None

    # if source field present, take that otherwise take source-ref
    task_object = source if source is not None else source_ref

    # Build response object
    output = {
        "taskInput": {
            "taskObject": task_object
        },
        "humanAnnotationRequired": "true"
    }

    print(output)
    # If neither source nor source-ref specified, mark the annotation failed
    if task_object is None:
        print(" Failed to pre-process {} !".format(event["labelingJobArn"]))
        output["humanAnnotationRequired"] = "false"

    return output

注释后 Lambda

当所有工作人员对数据对象进行了注释时，或TaskAvailabilityLifetimeInSeconds已达到（以先到者为准），Ground Truth 将这些注释发送到您的注释后 Lambda。此 Lambda 通常用于合并注释。

以下代码块包含注释后请求模式。每个参数会在后文中予以说明。

{
    "version": "2018-10-16",
    "labelingJobArn": <string>,
    "labelCategories": [<string>],
    "labelAttributeName": <string>,
    "roleArn" : <string>,
    "payload": {
        "s3Uri": <string>
    }
 }

以下代码块包含注释后请求的示例。此示例请求中的每个参数都在代码块下面进行了解释。

{
    "version": "2018-10-16",
    "labelingJobArn": "arn:aws:sagemaker:us-west-2:111122223333:labeling-job/labeling-job-name",
    "labelCategories": ["Ex Category1","Ex Category2", "Ex Category3"],
    "labelAttributeName": "labeling-job-attribute-name",
    "roleArn" : "arn:aws:iam::111122223333:role/role-name",
    "payload": {
        "s3Uri": "s3://DOC-EXAMPLE-BUCKET/annotations.json"
    }
 }

以下代码块包含有效负载模式。这是由s3Uri注释后 Lambda 请求中的参数payloadJSON 对象。例如，如果前面的代码块是注释后 Lambda 请求，则下面的注释文件位于s3://DOC-EXAMPLE-BUCKET/annotations.json。

每个参数会在后文中予以说明。

[
    {
        "datasetObjectId": <string>,
        "dataObject": {
            "s3Uri": <string>,
            "content": <string>
        },
        "annotations": [{
            "workerId": <string>,
            "annotationData": {
                "content": <string>,
                "s3Uri": <string>
            }
       }]
    }
]

下表包含了在不同类型注释的有效负载中可能找到的内容的示例。

您的注释后 Lambda 函数可能包含类似于以下内容的逻辑，用于循环和访问请求中包含的所有注释。有关完整示例，请参阅annotation_consolidation_lambda.py中的AWS 萨格制造商-地面-真理配方GitHub 存储库。在此 GitHub 示例中，您必须添加自己的注释合并逻辑。

for i in range(len(annotations)):
    worker_id = annotations[i]["workerId"]
    annotation_content = annotations[i]['annotationData'].get('content')
    annotation_s3_uri = annotations[i]['annotationData'].get('s3uri')
    annotation = annotation_content if annotation_s3_uri is None else s3_client.get_object_from_s3(
        annotation_s3_uri)
    annotation_from_single_worker = json.loads(annotation)

    print("{} Received Annotations from worker [{}] is [{}]"
            .format(log_prefix, worker_id, annotation_from_single_worker))

作为回报，Ground Truth 需要格式如下所示的响应：

[
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    },
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    }
    .
    .
    .
]

当您返回content，这会在作业的输出清单中生成一个条目，如下所示：

{  "source-ref"/"source" : "<s3uri or content>", 
   "<labelAttributeName>": {
        # ... label content from you
    },   
   "<labelAttributeName>-metadata": { # This will be added by Ground Truth
        "job_name": <labelingJobName>,
        "type": "groundTruth/custom",
        "human-annotated": "yes", 
        "creation_date": <date> # Timestamp of when received from Post-labeling Lambda
    }
}

由于自定义模板及其收集的数据的潜在复杂的性质，Ground Truth 理不提供对数据的进一步处理。