本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将预测结果与输入记录关联
对大型数据集进行预测时,您可以排除进行预测时不需要的属性。进行预测后,您可以将某些排除的属性和这些预测或报告中的其他输入数据关联起来。通过使用批量转换来执行这些数据处理步骤,您通常可以消除其他预处理或后处理。您只能使用 JSON 和 CSV 格式的输入文件。
将推理与输入记录关联的工作流程
下图显示将推理与输入记录相关联的工作流程。

要将推理与输入数据关联,有三个主要步骤:
-
在将输入数据传递到批量转换作业之前,筛选进行推理时不需要的输入数据。使用
InputFilter
参数来确定要将哪些属性用作模型的输入。 -
将输入数据和推理结果关联。使用
JoinSource
参数将输入数据与推理结合起来。 -
筛选联接的数据,以保留用来为解释报告中的预测提供上下文所需的输入。使用
OutputFilter
存储输出文件中联接的数据集的指定部分。
在批量转换作业中使用数据处理
在使用 CreateTransformJob
创建批量转换作业以处理数据时:
-
使用
InputFilter
数据结构中的DataProcessing
参数指定要传递到模型的输入的部分。 -
使用
JoinSource
参数联接原始输入数据和转换后的数据。 -
使用
OutputFilter
参数指定批量转换作业中哪部分联接输入数据和转换后的数据要包含在输出文件中。 -
选择 JSON 或 CSV 格式的文件作为输入:
-
对于 JSON 或 JSON 行格式的输入文件,SageMaker 会向输入文件添加
SageMakerOutput
属性,或者创建一个带有SageMakerInput
和SageMakerOutput
属性的新 JSON 输出文件。有关更多信息,请参阅DataProcessing
。 -
对于 CSV 格式的输入文件,联接的输入数据后跟转换后的数据,而输出是 CSV 文件。
-
如果您使用具有 DataProcessing
结构的算法,它必须支持您选择的输入和输出文件的格式。例如,对于 API 的 TransformOutput
CreateTransformJob
字段,您必须将 Content Type
和 Accept
参数设置为以下值之一:text/csv
、application/json
或 application/jsonlines
。 在 CSV 文件中指定列和在 JSON 文件中指定属性的语法是不同的。使用错误的语法会导致错误。有关更多信息,请参阅批量转换 Examples。有关用于内置算法的输入和输出文件格式的更多信息,请参阅使用 Amazon SageMaker 内置算法。
输入和输出的记录分隔符也必须符合所选的文件输入。SplitType
参数指示如何拆分输入数据集中的记录。AssembleWith
参数指示如何重组记录以进行输出。如果将输入和输出格式设置为 text/csv
,还必须将 SplitType
和 AssemblyType
参数设置为 line
。 如果将输入和输出格式设置为 application/jsonlines
,则可以将 SplitType
和 AssemblyType
设置为 line
。
对于 JSON 文件,属性名称 SageMakerOutput
预留用于输出。JSON 输入文件不得具有使用此名称的属性。如果超过,则输入文件中的数据可能会被覆盖。
支持的 JSONPath 运算符
要筛选和联接输入数据和推理,请使用 JSONPath 子表达式。SageMaker 仅支持定义的 JSONPath 运算符的子集。下表列出了支持的 JSONPath
运算符。对于 CSV 数据,每行都被视为 JSON 数组,因此只能应用基于索引的 JSONPaths,例如 $[0]
、$[1:]
。 CSV 数据还应遵循 RFC 格式
JSONPath 运算符 | 描述 | 示例 |
---|---|---|
$ |
查询的根元素。所有路径表达式的开头都需要此运算符。 |
$ |
. |
一个以点表示的子元素。 |
|
* |
一个通配符。用来代替属性名称或数值。 |
|
[' |
一个括号表示的元素或多个子元素。 |
|
[ |
一个索引或索引数组。也支持否定索引值。 |
|
[ |
数组切片运算符。数组 slice() 方法提取数组的一部分并返回一个新数组。 如果您省略 |
|
使用括号表示法指定给定字段的多个子元素时,不支持在括号内添加子元素。例如,支持 $.field1.['child1','child2']
而不支持 $.field1.['child1','child2.grandchild']
。
有关 JSONPath 运算符的更多信息,请参阅 上的 JsonPath
批量转换 Examples
以下示例显示了一些将输入数据与预测结果联接的常用方法。
主题
示例:仅输出推理
默认情况下,DataProcessing
参数不将推理结果与输入联接。它仅输出推理结果。
如果要明确指定不将结果与输入联接,请使Amazon SageMaker Python SDK
sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$", join_source= "None", output_filter="$")
要使用适用于 Python 的 AWS 开发工具包输出推理,请将以下代码添加到您的 CreateTransformJob 请求。下面的代码模仿了默认行为。
{ "DataProcessing": { "InputFilter": "$", "JoinSource": "None", "OutputFilter": "$" } }
示例:输出输入数据和推理
如果您使用的是 Amazon SageMaker Python SDK"Input"
JoinSource
参数指定 。
sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, join_source= "Input")
如果您正在使用适用于 Python 的 AWS 开发工具包 (Boto 3),则通过将以下代码添加到您的 CreateTransformJob
请求,联接所有输入数据与推理。
{ "DataProcessing": { "JoinSource": "Input" } }
对于 JSON 或 JSON 行输入文件,结果位于输入 JSON 文件的 SageMakerOutput
键中。例如,如果输入是一个 JSON 文件,其中包含键值对 {"key":1}
,则数据转换结果可能是 {"label":1}
。
SageMaker 将两者存储在 SageMakerInput
键的输入文件中。
{ "key":1, "SageMakerOutput":{"label":1} }
JSON 的联接结果必须是键值对对象。如果输入不是键值对对象,则 SageMaker 创建一个新的 JSON 文件。在新的 JSON 文件中,输入数据存储在 SageMakerInput
键中,而结果存储为 SageMakerOutput
值。
对于 CSV 文件,例如,如果记录是 [1,2,3]
,并且标签结果是 [1]
,则输出文件将包含 [1,2,3,1]
。
示例:输出具有 Results 的 ID 列,并从输入中排除 ID 列 (CSV)
如果您使用 Amazon SageMaker Python SDK
sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$[1:]", join_source= "Input", output_filter="$")
如果您使用适用于 Python 的 AWS 开发工具包 (Boto 3),请将以下代码添加到 CreateTransformJob
请求。
{ "DataProcessing": { "InputFilter": "$[1:]", "JoinSource": "Input", "OutputFilter": "$" } }
要指定 SageMaker 中的列,请使用数组元素的索引。第一列是索引 0,第二列是索引 1,第六列是索引 5。
要从输入中排除第一列,请将 InputFilter
设置为 "$[1:]"
。 冒号 (:
) 告知 SageMaker 包含两个值(含这两个值)之间的所有元素。例如,$[1:4]
指定第二列到第五列。
如果您省略冒号后的数字,例如 [5:]
,则子集包含第六列至最后一列的所有列。如果您省略冒号前的数字,例如 [:5]
,则子集包含第一列(索引 0)至第六列的所有列。
示例:使用 Results 输出 ID 属性并从输入中排除 ID 属性 (JSON)
如果您使用的是 Amazon SageMaker Python SDKfeatures
属性中,并将记录 ID 存储在 ID
属性中,则可使用以下转换器请求。
sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$.features", join_source= "Input", output_filter="$['id','SageMakerOutput']")
如果您正在使用适用于 Python 的 AWS 开发工具包 (Boto 3),则通过将以下代码添加到您的 CreateTransformJob
请求,联接所有输入数据与推理。
{ "DataProcessing": { "InputFilter": "$.features", "JoinSource": "Input", "OutputFilter": "$['id','SageMakerOutput']" } }
如果您使用的是 JSON 格式的输入文件,该文件不能包含属性名称 SageMakerOutput
。 此属性名称是为输出文件保留的。如果您的 JSON 格式的输入文件包含具有此名称的属性,则输入文件中的值可能会被推理覆盖。