Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

将预测结果与输入记录关联

当针对大型数据集进行预测时，可以排除进行预测时不需要的属性。进行预测后，您可以将某些排除的属性和这些预测或报告中的其他输入数据关联起来。通过使用批量转换来执行这些数据处理步骤，您通常可以消除其他预处理或后处理。您只能使用 JSON 和 CSV 格式的输入文件。

将推理与输入记录相关联的工作流

下图显示将推理与输入记录相关联的工作流程。

要将推理与输入数据相关联，有三个主要步骤：

在批量转换作业中使用数据处理

在使用 CreateTransformJob 创建批量转换作业来处理数据时：

如果您使用的是带有 DataProcessing 结构的算法，它必须“同时”对输入和输出文件支持您选择的格式。例如，对于 CreateTransformJob API 的 TransformOutput 字段，您必须同时将 ContentType 和 Accept 参数设置为以下值之一：text/csv、application/json 或 application/jsonlines。在 CSV 文件中指定列的语法与在 JSON 文件中指定属性的语法是不同的。使用错误的语法会导致错误。有关更多信息，请参阅 批量转换示例。有关用于内置算法的输入和输出文件格式的更多信息，请参阅使用 Amazon SageMaker 内置算法或预先训练模型。

输入和输出的记录分隔符也必须符合所选的文件输入。SplitType 参数指示如何拆分输入数据集内的记录。AssembleWith 参数指示如何重组记录以便输出。如果您将输入和输出格式设置为 text/csv，还必须将 SplitType 和 AssembleWith 参数设置为 line。如果您将输入和输出格式设置为 application/jsonlines，则可以将 SplitType 和 AssembleWith 这两者设置为 line。

对于 CSV 文件，不能使用嵌入式换行符。对于 JSON 文件，属性名称 SageMakerOutput 预留用于输出。JSON 输入文件不得具有使用此名称的属性。否则，输入文件中的数据可能被覆盖。

支持的 JSONPath 运算符

要筛选并联接输入数据和推理，请使用 JSONPath 子表达式。SageMaker 仅支持定义的 JSONPath 运算符的子集。下表列出了支持的 JSONPath 运算符。对于 CSV 数据，每一行都被视为 JSON 数组，因此只能应用基于索引的 JSONPath，例如 $[0]、$[1:]。CSV 数据也应遵循 RFC 格式。

使用括号表示法指定给定字段的多个子元素时，不支持在括号内添加子元素。例如，支持 $.field1.['child1','child2'] 而不支持 $.field1.['child1','child2.grandchild']。

有关 JSONPath 运算符的更多信息，请参阅 GitHub 上的 JsonPath。

批量转换示例

以下示例显示了一些将输入数据与预测结果联接的常用方法。

示例：仅输出推理

默认情况下，DataProcessing 参数不将推理结果与输入联接。它仅输出推理结果。

如果您希望明确指定不将结果与输入联接，请使用 Amazon SageMaker Python SDK 并在转换器调用中指定以下设置。

sm_transformer = sagemaker.transformer.Transformer(…)
sm_transformer.transform(…, input_filter="$", join_source= "None", output_filter="$")

要使用 Amazon SDK for Python 输出推理，请将以下代码添加到您的 CreateTransformJob 请求中。下面的代码模仿了默认行为。

{
    "DataProcessing": {
        "InputFilter": "$",
        "JoinSource": "None",
        "OutputFilter": "$"
    }
}

示例：输出推理与输入数据联接

如果您使用 Amazon SageMaker Python SDK 将输入数据与推理合并到输出文件中，请在初始化转换器对象时指定 assemble_with 和 accept 参数。使用转换调用时，请为 join_source 参数指定 Input，同时指定 split_type 和 content_type 参数。split_type 参数的值必须与 assemble_with 相同，content_type 参数的值必须与 accept 相同。有关参数及其可接受值的更多信息，请参阅 Amazon SageMaker Python SDK 中的转换器页面。

sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, join_source="Input", split_type="Line", content_type="text/csv")

如果您正在使用 Amazon SDK for Python (Boto 3)，则通过将以下代码添加到您的 CreateTransformJob 请求，将所有输入数据与推理联接。Accept 和 ContentType 的值必须匹配，并且 AssembleWith 和 SplitType 的值也必须匹配。

{
    "DataProcessing": {
        "JoinSource": "Input"
    },
    "TransformOutput": {
        "Accept": "text/csv",
        "AssembleWith": "Line"
    },
    "TransformInput": {
        "ContentType": "text/csv",
        "SplitType": "Line"
    }
}

对于 JSON 或 JSON 行输入文件，结果位于输入 JSON 文件的 SageMakerOutput 键中。例如，如果输入是一个 JSON 文件，其中包含键值对 {"key":1}，则数据转换结果可能是 {"label":1}。

SageMaker 将两者存储在输入文件的 SageMakerInput 键中。

{
    "key":1,
    "SageMakerOutput":{"label":1}
}

对于 CSV 文件，例如，如果记录 [1,2,3]，且标签结果为 [1]，则输出文件将包含 [1,2,3,1]。

示例：输出推理与输入数据联接并从输入中排除 ID 列 (CSV)

如果您使用 Amazon SageMaker Python SDK 将输入数据与推理输出联接，同时从转换器输入中排除 ID 列，请在转换器调用中指定与前面示例相同的参数，并且为 input_filter 指定 JSONPath 子表达式。例如，如果您的输入数据包含五列，而第一列是 ID 列，则使用以下转换请求选择除 ID 列之外的所有列作为特征。转换器仍会输出与推理相联接的所有输入列。有关参数及其可接受值的更多信息，请参阅 Amazon SageMaker Python SDK 中的转换器页面。

sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, split_type="Line", content_type="text/csv", input_filter="$[1:]", join_source="Input")

如果正在使用 Amazon SDK for Python (Boto 3)，请将以下代码添加到 CreateTransformJob 请求。

{
    "DataProcessing": {
        "InputFilter": "$[1:]",
        "JoinSource": "Input"
    },
    "TransformOutput": {
        "Accept": "text/csv",
        "AssembleWith": "Line"
    },
    "TransformInput": {
        "ContentType": "text/csv",
        "SplitType": "Line"
    }
}

要在 SageMaker 中指定列，请使用数组元素的索引。第一列是索引 0，第二列是索引 1，第六列是索引 5。

要从输入中排除第一列，请将 InputFilter 设置为 "$[1:]"。冒号 (:) 告知 SageMaker 包含两个值（含）之间的所有元素。例如，$[1:4] 指定第二列到第五列。

如果您省略冒号后的数字，例如 [5:]，则子集包含第六列至最后一列的所有列。如果您省略冒号前的数字，例如 [:5]，则子集包含第一列（索引 0）至第六列的所有列。

示例：输出与 ID 列联接的推理并从输入中排除 ID 列 (CSV)

如果正在使用 Amazon SageMaker Python SDK，则可以通过在转换器调用中指定 output_filter，从而指定在输出中仅将特定输入列（例如 ID 列）与推理联接。output_filter 使用 JSONPath 子表达式来指定在将输入数据与推理结果联接后将哪些列作为输出返回。以下请求显示了如何在排除某个 ID 列的同时进行预测，然后将 ID 列与推理相联接。请注意，在以下示例中，输出的最后一列 (-1) 包含推理。如果正在使用 JSON 文件，SageMaker 会将推理结果存储在属性 SageMakerOutput 中。有关参数及其可接受值的更多信息，请参阅 Amazon SageMaker Python SDK 中的转换器页面。

sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, split_type="Line", content_type="text/csv", input_filter="$[1:]", join_source="Input", output_filter="$[0,-1]")

如果您正在使用 Amazon SDK for Python (Boto 3)，则通过将以下代码添加到 CreateTransformJob 请求，只将 ID 列与推理联接。

{
    "DataProcessing": {
        "InputFilter": "$[1:]",
        "JoinSource": "Input",
        "OutputFilter": "$[0,-1]"
    },
    "TransformOutput": {
        "Accept": "text/csv",
        "AssembleWith": "Line"
    },
    "TransformInput": {
        "ContentType": "text/csv",
        "SplitType": "Line"
    }
}