将预测结果与输入记录关联 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将预测结果与输入记录关联

对大型数据集进行预测时,您可以排除进行预测时不需要的属性。进行预测后,您可以将某些排除的属性和这些预测或报告中的其他输入数据关联起来。通过使用批量转换来执行这些数据处理步骤,您通常可以消除其他预处理或后处理。您只能使用 JSON 和 CSV 格式的输入文件。

将推理与输入记录关联的工作流程

下图显示将推理与输入记录相关联的工作流程。

要将推理与输入数据关联,有三个主要步骤:

  1. 在将输入数据传递到批量转换作业之前,筛选进行推理时不需要的输入数据。使用 InputFilter 参数来确定要将哪些属性用作模型的输入。

  2. 将输入数据和推理结果关联。使用 JoinSource 参数将输入数据与推理结合起来。

  3. 筛选联接的数据,以保留用来为解释报告中的预测提供上下文所需的输入。使用 OutputFilter 存储输出文件中联接的数据集的指定部分。

在批量转换作业中使用数据处理

在使用 CreateTransformJob 创建批量转换作业以处理数据时:

  1. 使用 InputFilter 数据结构中的 DataProcessing 参数指定要传递到模型的输入的部分。

  2. 使用 JoinSource 参数联接原始输入数据和转换后的数据。

  3. 使用 OutputFilter 参数指定批量转换作业中哪部分联接输入数据和转换后的数据要包含在输出文件中。

  4. 选择 JSON 或 CSV 格式的文件作为输入:

    • 对于 JSON 或 JSON 行格式的输入文件,SageMaker 会向输入文件添加 SageMakerOutput 属性,或者创建一个带有 SageMakerInputSageMakerOutput 属性的新 JSON 输出文件。有关更多信息,请参阅 DataProcessing

    • 对于 CSV 格式的输入文件,联接的输入数据后跟转换后的数据,而输出是 CSV 文件。

如果您使用具有 DataProcessing 结构的算法,它必须支持您选择的输入和输出文件的格式。例如,对于 API 的 TransformOutput CreateTransformJob 字段,您必须将 Content Type Accept 参数设置为以下值之一:text/csvapplication/jsonapplication/jsonlines。 在 CSV 文件中指定列和在 JSON 文件中指定属性的语法是不同的。使用错误的语法会导致错误。有关更多信息,请参阅批量转换 Examples。有关用于内置算法的输入和输出文件格式的更多信息,请参阅使用 Amazon SageMaker 内置算法

输入和输出的记录分隔符也必须符合所选的文件输入。SplitType 参数指示如何拆分输入数据集中的记录。AssembleWith 参数指示如何重组记录以进行输出。如果将输入和输出格式设置为 text/csv,还必须将 SplitTypeAssemblyType 参数设置为 line。 如果将输入和输出格式设置为 application/jsonlines,则可以将 SplitTypeAssemblyType 设置为 line

对于 JSON 文件,属性名称 SageMakerOutput 预留用于输出。JSON 输入文件不得具有使用此名称的属性。如果超过,则输入文件中的数据可能会被覆盖。

支持的 JSONPath 运算符

要筛选和联接输入数据和推理,请使用 JSONPath 子表达式。SageMaker 仅支持定义的 JSONPath 运算符的子集。下表列出了支持的 JSONPath 运算符。对于 CSV 数据,每行都被视为 JSON 数组,因此只能应用基于索引的 JSONPaths,例如 $[0]$[1:]。 CSV 数据还应遵循 RFC 格式

JSONPath 运算符 描述 示例
$

查询的根元素。所有路径表达式的开头都需要此运算符。

$
.<name>

一个以点表示的子元素。

$.id

*

一个通配符。用来代替属性名称或数值。

$.id.*

['<name>' (,'<name>')]

一个括号表示的元素或多个子元素。

$['id','SageMakerOutput']

[<number> (,<number>)]

一个索引或索引数组。也支持否定索引值。-1 索引指数组中的最后一个元素。

$[1] , $[1,3,5]

[<start>:<end>]

数组切片运算符。数组 slice() 方法提取数组的一部分并返回一个新数组。 如果您省略 <start>,SageMaker 使用数组的第一个元素。如果省略 <end>,SageMaker 使用数组的最后一个元素。

$[2:5], $[:5], $[2:]

使用括号表示法指定给定字段的多个子元素时,不支持在括号内添加子元素。例如,支持 $.field1.['child1','child2'] 而不支持 $.field1.['child1','child2.grandchild']

有关 JSONPath 运算符的更多信息,请参阅 上的 JsonPathGitHub。

批量转换 Examples

以下示例显示了一些将输入数据与预测结果联接的常用方法。

示例:仅输出推理

默认情况下,DataProcessing 参数不将推理结果与输入联接。它仅输出推理结果。

如果要明确指定不将结果与输入联接,请使Amazon SageMaker Python SDK在转换器调用中指定以下设置。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$", join_source= "None", output_filter="$")

要使用适用于 Python 的 AWS 开发工具包输出推理,请将以下代码添加到您的 CreateTransformJob 请求。下面的代码模仿了默认行为。

{ "DataProcessing": { "InputFilter": "$", "JoinSource": "None", "OutputFilter": "$" } }

示例:输出输入数据和推理

如果您使用的是 Amazon SageMaker Python SDK,要将输入数据与输出文件中的推理组合起来,请在转换器调用中为 "Input" JoinSource 参数指定

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, join_source= "Input")

如果您正在使用适用于 Python 的 AWS 开发工具包 (Boto 3),则通过将以下代码添加到您的 CreateTransformJob 请求,联接所有输入数据与推理。

{ "DataProcessing": { "JoinSource": "Input" } }

对于 JSON 或 JSON 行输入文件,结果位于输入 JSON 文件的 SageMakerOutput 键中。例如,如果输入是一个 JSON 文件,其中包含键值对 {"key":1},则数据转换结果可能是 {"label":1}

SageMaker 将两者存储在 SageMakerInput 键的输入文件中。

{ "key":1, "SageMakerOutput":{"label":1} }
注意

JSON 的联接结果必须是键值对对象。如果输入不是键值对对象,则 SageMaker 创建一个新的 JSON 文件。在新的 JSON 文件中,输入数据存储在 SageMakerInput 键中,而结果存储为 SageMakerOutput 值。

对于 CSV 文件,例如,如果记录是 [1,2,3],并且标签结果是 [1],则输出文件将包含 [1,2,3,1]

示例:输出具有 Results 的 ID 列,并从输入中排除 ID 列 (CSV)

如果您使用 Amazon SageMaker Python SDK,要在输出中包含结果或 ID 列,请在转换器调用中指定联接的数据集的索引。例如,如果您的数据包含五列,而第一列是 ID 列,请使用以下转换器请求。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$[1:]", join_source= "Input", output_filter="$")

如果您使用适用于 Python 的 AWS 开发工具包 (Boto 3),请将以下代码添加到 CreateTransformJob 请求。

{ "DataProcessing": { "InputFilter": "$[1:]", "JoinSource": "Input", "OutputFilter": "$" } }

要指定 SageMaker 中的列,请使用数组元素的索引。第一列是索引 0,第二列是索引 1,第六列是索引 5。

要从输入中排除第一列,请将 InputFilter 设置为 "$[1:]"。 冒号 (:) 告知 SageMaker 包含两个值(含这两个值)之间的所有元素。例如,$[1:4] 指定第二列到第五列。

如果您省略冒号后的数字,例如 [5:],则子集包含第六列至最后一列的所有列。如果您省略冒号前的数字,例如 [:5],则子集包含第一列(索引 0)至第六列的所有列。

示例:使用 Results 输出 ID 属性并从输入中排除 ID 属性 (JSON)

如果您使用的是 Amazon SageMaker Python SDK,请通过在转换器调用中指定 it 在输出中包含某个 ID 属性的结果。例如,如果您将数据存储在 features 属性中,并将记录 ID 存储在 ID 属性中,则可使用以下转换器请求。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$.features", join_source= "Input", output_filter="$['id','SageMakerOutput']")

如果您正在使用适用于 Python 的 AWS 开发工具包 (Boto 3),则通过将以下代码添加到您的 CreateTransformJob 请求,联接所有输入数据与推理。

{ "DataProcessing": { "InputFilter": "$.features", "JoinSource": "Input", "OutputFilter": "$['id','SageMakerOutput']" } }
警告

如果您使用的是 JSON 格式的输入文件,该文件不能包含属性名称 SageMakerOutput。 此属性名称是为输出文件保留的。如果您的 JSON 格式的输入文件包含具有此名称的属性,则输入文件中的值可能会被推理覆盖。