助理预测结果使用输入记录执行 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

助理预测结果使用输入记录执行

当针对大型数据集进行预测时,可以排除进行预测时不需要的属性。进行预测后,您可以将某些排除的属性和这些预测或报告中的其他输入数据关联起来。通过使用批量转换来执行这些数据处理步骤,您通常可以消除其他预处理或后处理。您只能使用 JSON 和 CSV 格式的输入文件。

将推理与输入记录相关联的工作流程

下图显示将推理与输入记录相关联的工作流程。

要将推理与输入数据相关联,有三个主要步骤:

  1. 筛选进行推理时不需要的输入数据,然后再将输入数据传递到批量转换作业。使用InputFilterparameter来确定要将哪些属性用作模型的输入。

  2. 将输入数据和推理结果关联。使用 JoinSource 参数将输入数据与推理结合起来。

  3. 筛选联接的数据,以保留用来为解释报告中的预测提供上下文所需的输入。使用OutputFilter将联接的数据集的指定部分存储在输出文件中。

在批量转换作业中使用数据处理

当使用创建批量转换作业时CreateTransformJob到process数据:

  1. 使用指定要传输到模型的输入部分,InputFilter中的参数DataProcessing数据结构。

  2. 使用 JoinSource 参数联接原始输入数据和转换后的数据。

  3. 使用批量转换作业中哪部分联接输入数据和转换后的数据要包含在输出文件中,使用OutputFilter参数。

  4. 选择 JSON 或 CSV 格式的文件作为输入:

    • 对于 JSON 或 JSON 行格式的输入文件,SageMaker 会添加SageMakerOutput属性添加到输入文件,或者创建一个带有SageMakerInputSageMakerOutput属性。有关更多信息,请参阅 DataProcessing

    • 对于 CSV 格式的输入文件,联接的输入数据后跟转换后的数据,而输出是 CSV 文件。

如果将算法与DataProcessing结构,它必须支持您选择的二者输入和输出文件。例如,使用TransformOutput字段中的CreateTransformJobAPI,则必须同时设置Content TypeAccept参数设置为以下任一值:text/csvapplication/json,或者application/jsonlines。在 CSV 文件中指定列的语法与在 JSON 文件中指定属性的语法是不同的。使用错误的语法会导致错误。有关更多信息,请参阅批量转换Examples。有关用于内置算法的输入和输出文件格式的更多信息,请参阅Use Amazon SageMaker Built-in Algorithms

输入和输出的记录分隔符也必须符合所选的文件输入。SplitType 参数指示如何拆分输入数据集中的记录。AssembleWith 参数指示如何重组记录以进行输出。如果您将输入和输出格式设置为 text/csv,还必须将 SplitTypeAssemblyType 参数设置为 line。如果您将输入和输出格式设置为 application/jsonlines,则可以将 SplitTypeAssemblyType 这两者设置为 line

对于 JSON 文件,属性名称 SageMakerOutput 预留用于输出。JSON 输入文件不得具有使用此名称的属性。否则,输入文件中的数据可能被覆盖。

支持的 JSONPath 运算符

要筛选并联接输入数据和推理,请使用 JSONPath 子表达式。SageMaker 仅支持定义的 JSONPath 运算符子集。下表列出了支持的 JSONPath 运算符。对于 CSV 数据,每一行都被视为 JSON 数组,因此只能应用基于索引的 JSONPath,例如 $[0]$[1:]。CSV 数据也应遵循 RFC 格式

JSONPath 运算符 描述 示例
$

查询的根元素。所有路径表达式的开头都需要此运算符。

$
.<name>

一个以点表示的子元素。

$.id

*

一个通配符。用来代替属性名称或数值。

$.id.*

['<name>' (,'<name>')]

一个括号表示的元素或多个子元素。

$['id','SageMakerOutput']

[<number> (,<number>)]

一个索引或索引数组。也支持否定索引值。-1 索引指数组中的最后一个元素。

$[1] , $[1,3,5]

[<start>:<end>]

数组 Slice 运算符。数组 slice() 方法提取数组的一部分并返回一个新数组。如果省略<start>,SageMaker 将使用数组的第一个元素。如果省略<end>,SageMaker 将使用数组的最后一个元素。

$[2:5], $[:5], $[2:]

使用括号表示法指定给定字段的多个子元素时,不支持在括号内添加子元素。例如,支持 $.field1.['child1','child2'] 而不支持 $.field1.['child1','child2.grandchild']

有关 JSONPath 运算符的更多信息,请参阅 GitHub 上的 JsonPath

批量转换Examples

以下示例显示了一些将输入数据与预测结果联接的常用方法。

示例:仅输出推理

默认情况下,DataProcessing 参数不将推理结果与输入联接。它仅输出推理结果。

如果你想明确地指定不使用输入连接结果,useAmazon SageMaker Python 开发工具包,然后在转换器调用中指定以下设置。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$", join_source= "None", output_filter="$")

要使用Amazon适用于 Python 的开发工具包中,将以下代码添加到您的 CreateTransformJob 请求中。下面的代码模仿了默认行为。

{ "DataProcessing": { "InputFilter": "$", "JoinSource": "None", "OutputFilter": "$" } }

示例:输出输入数据和推理

如果您使用的是Amazon SageMaker Python 开发工具包,要将输入数据与输出文件中的推理结合起来,请指定"Input"(对于 )JoinSource参数在变换器调用中。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, join_source= "Input")

如果您使用的是Amazon适用于 Python 的开发工具包(Bto3),联接所有输入数据与推理,方法是将以下代码添加到您的CreateTransformJob请求.

{ "DataProcessing": { "JoinSource": "Input" } }

对于 JSON 或 JSON 行输入文件,结果位于输入 JSON 文件的 SageMakerOutput 键中。例如,如果输入是一个 JSON 文件,其中包含键值对 {"key":1},则数据转换结果可能是 {"label":1}

SageMaker 商店二者中的输入文件中的SageMakerInput密钥。

{ "key":1, "SageMakerOutput":{"label":1} }
注意

JSON 的联接结果必须是键值对对象。如果输入不是键值对对象,SageMaker 会创建一个新的 JSON 文件。在新的 JSON 文件中,输入数据存储在 SageMakerInput 键中,而结果存储为 SageMakerOutput 值。

对于 CSV 文件,例如,如果记录为[1,2,3],并且标注结果为[1],那么输出文件将包含[1,2,3,1]

示例:输出 ID 列Results和从输入中排除 ID 列 (CSV)

如果您使用的是Amazon SageMaker Python 开发工具包中,要在输出中包含结果或 ID 列,请在转换器调用中指定联接的数据集的索引。例如,如果您的数据包含五列,而第一列是 ID 列,请使用以下转换器请求。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$[1:]", join_source= "Input", output_filter="$")

如果您使用的是AmazonPython 开发工具包(Bto3),请将以下代码添加到您的CreateTransformJob请求.

{ "DataProcessing": { "InputFilter": "$[1:]", "JoinSource": "Input", "OutputFilter": "$" } }

要指定 SageMaker 中的列,请使用数组元素的索引。第一列是索引 0,第二列是索引 1,第六列是索引 5。

要从输入中排除第一列,请将 InputFilter 设置为 "$[1:]"。冒号 (:)告知 SageMaker 包含两个值(含这两个值)之间的所有元素。例如,$[1:4] 指定第二列到第五列。

如果您省略冒号后的数字,例如 [5:],则子集包含第六列至最后一列的所有列。如果您省略冒号前的数字,例如 [:5],则子集包含第一列(索引 0)至第六列的所有列。

示例:输出 ID 属性Results和从输入中排除 ID 属性 (JSON)

如果您使用的是Amazon SageMaker Python 开发工具包中,通过指定输出中包含某个 ID 属性的结果it在变压器调用中。例如,如果您将数据存储在 features 属性中,并将记录 ID 存储在 ID 属性中,则可使用以下转换器请求。

sm_transformer = sagemaker.transformer.Transformer(…) sm_transformer.transform(…, input_filter="$.features", join_source= "Input", output_filter="$['id','SageMakerOutput']")

如果您使用的是Amazon适用于 Python 的开发工具包(Bto3),联接所有输入数据与推理,方法是将以下代码添加到您的CreateTransformJob请求.

{ "DataProcessing": { "InputFilter": "$.features", "JoinSource": "Input", "OutputFilter": "$['id','SageMakerOutput']" } }
警告

如果您使用的是 JSON 格式的输入文件,该文件不能包含属性名称 SageMakerOutput。此属性名称预留供输出文件使用。如果您的 JSON 格式的输入文件包含具有此名称的属性,则输入文件中的值可能会被推理覆盖。