注释前和注释后 Lambda 函数要求

使用本节可以了解发送到注释前和注释后 Lambda 函数的请求的语法，以及 Ground Truth 运行自定义标签工作流程所需的响应语法。

注释前 Lambda

在将标记任务发送到工作线程之前，将调用注释前 Lambda 函数。

Ground Truth 向您的 Lambda 函数发送 JSON 格式的请求，以提供有关标签作业和数据对象的详细信息。下表包含预注释请求模式。下面描述了每个参数。

下表包括预注释请求的代码块示例。这些示例请求中的每个参数都在选项卡式表下面进行了说明。

作为回报，Ground Truth 需要格式如下的响应：

{
    "taskInput": <json object>,
    "isHumanAnnotationRequired": <boolean> # Optional
}

在上面的示例中，<json object>需要包含所有自定义工作人员任务模板所需的数据。如果您正在执行一个边界框任务（其中指令始终保持相同），则它可能只是您的图像文件的 HTTP (S) 或 Amazon S3 资源。如果它是一个情感分析任务且不同的对象可能具有不同的选择，则它是对象引用（作为字符串）和选项（作为字符串数组）。

如果你的清单中有混合对象，其中一些对象需要人工注释，有些不需要它，则可以包含isHumanAnnotationRequired每个数据对象中的值。您可以向预注解 Lambda 添加逻辑以动态确定对象是否需要注释，并相应地设置此布尔值。

预注解 Lambda 函数的示例

以下是基本的预注解 Lambda 函数访问中的 JSON 对象dataObject来自最初的请求，然后将其返回taskInput参数。

import json

def lambda_handler(event, context):
    return {
        "taskInput":  event['dataObject']
    }

假定输入清单文件使用"source-ref"为了识别数据对象，与此预注解 Lambda 相同的标签作业中使用的工作人员任务模板必须包含一个类似以下内容的 Liquid 元素才能提取dataObject：

{{ task.input.source-ref | grant_read_access }}

如果使用输入清单文件source为了识别数据对象，工作任务模板可以提取dataObject包含以下内容：

{{ task.input.source }}

以下预注解 Lambda 示例包括用于标识中使用的密钥的逻辑dataObject，然后使用指向那个数据对象taskObject在 Lambda 的退货声明中。

import json

def lambda_handler(event, context):

    # Event received
    print("Received event: " + json.dumps(event, indent=2))

    # Get source if specified
    source = event['dataObject']['source'] if "source" in event['dataObject'] else None

    # Get source-ref if specified
    source_ref = event['dataObject']['source-ref'] if "source-ref" in event['dataObject'] else None

    # if source field present, take that otherwise take source-ref
    task_object = source if source is not None else source_ref

    # Build response object
    output = {
        "taskInput": {
            "taskObject": task_object
        },
        "humanAnnotationRequired": "true"
    }

    print(output)
    # If neither source nor source-ref specified, mark the annotation failed
    if task_object is None:
        print(" Failed to pre-process {} !".format(event["labelingJobArn"]))
        output["humanAnnotationRequired"] = "false"

    return output

注释后 Lambda

当所有工作人员都对数据对象进行注释或何时TaskAvailabilityLifetimeInSeconds已达到（以先到者为准），Ground Truth 将这些注释发送到注释后 Lambda。此 Lambda 通常用于合并注释。

以下代码块包含注释后请求模式。下面的项目符号列表中介绍了每个参数。

{
    "version": "2018-10-16",
    "labelingJobArn": <string>,
    "labelCategories": [<string>],
    "labelAttributeName": <string>,
    "roleArn" : <string>,
    "payload": {
        "s3Uri": <string>
    }
 }

下面的代码块包含注释后请求的示例。此示例请求中的每个参数都在代码块下面进行了说明。

{
    "version": "2018-10-16",
    "labelingJobArn": "arn:aws:sagemaker:us-west-2:111122223333:labeling-job/labeling-job-name",
    "labelCategories": ["Ex Category1","Ex Category2", "Ex Category3"],
    "labelAttributeName": "labeling-job-attribute-name",
    "roleArn" : "arn:aws:iam::111122223333:role/role-name",
    "payload": {
        "s3Uri": "s3://DOC-EXAMPLE-BUCKET/annotations.json"
    }
 }

以下代码块包含有效负载架构。这是由s3Uri注释后 Lambda 请求中的参数payloadJSON 对象。例如，如果之前的代码块是注释后的 Lambda 请求，则以下注释文件位于s3://DOC-EXAMPLE-BUCKET/annotations.json.

下面的项目符号列表中介绍了每个参数。

[
    {
        "datasetObjectId": <string>,
        "dataObject": {
            "s3Uri": <string>,
            "content": <string>
        },
        "annotations": [{
            "workerId": <string>,
            "annotationData": {
                "content": <string>,
                "s3Uri": <string>
            }
       }]
    }
]

下表包含了您可能在负载中找到不同类型注释的内容的示例。

注释后 Lambda 函数可能包含类似于以下内容的逻辑，以循环浏览并访问请求中包含的所有注释。有关完整示例，请参阅annotation_consolidation_lambda.py中的aws-sagemaker-地面真相食谱GitHub 存储库。在此 GitHub 示例中，您必须添加自己的注释合并逻辑。

for i in range(len(annotations)):
    worker_id = annotations[i]["workerId"]
    annotation_content = annotations[i]['annotationData'].get('content')
    annotation_s3_uri = annotations[i]['annotationData'].get('s3uri')
    annotation = annotation_content if annotation_s3_uri is None else s3_client.get_object_from_s3(
        annotation_s3_uri)
    annotation_from_single_worker = json.loads(annotation)

    print("{} Received Annotations from worker [{}] is [{}]"
            .format(log_prefix, worker_id, annotation_from_single_worker))

作为回报，Ground Truth 需要格式如下的响应：

[
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    },
   {        
        "datasetObjectId": <string>,
        "consolidatedAnnotation": {
            "content": {
                "<labelattributename>": {
                    # ... label content
                }
            }
        }
    }
    .
    .
    .
]

当你在中返回注释时content，这将在您的作业输出清单中生成如下所示的条目：

{  "source-ref"/"source" : "<s3uri or content>", 
   "<labelAttributeName>": {
        # ... label content from you
    },   
   "<labelAttributeName>-metadata": { # This will be added by Ground Truth
        "job_name": <labelingJobName>,
        "type": "groundTruth/custom",
        "human-annotated": "yes", 
        "creation_date": <date> # Timestamp of when received from Post-labeling Lambda
    }
}

由于自定义模板及其收集的数据的潜在复杂的性质，Ground Truth 不提供对数据的进一步处理。