Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

通过增强清单文件，将数据集元数据提供给训练作业

要在训练作业中随您的数据集包含元数据，请使用增强清单文件。使用增强清单文件时，您的数据集必须存储在 Amazon Simple Storage Service (Amazon S3) 中，并且必须配置训练作业以使用存储在该位置的数据集。您可以为一个或多个 Channel 指定此数据集的位置和格式。增强清单只能支持管道输入模式。请参阅部分InputMode在Channel了解更多关于管道输入模式的信息。

指定频道的参数时，需要指定文件的路径，称为S3Uri. 亚马逊 SageMaker 根据指定的S3DataType在S3DataSource. AugmentedManifestFile 选项定义随输入数据包括元数据的清单格式。在您有标记过的数据时，使用增强清单文件是一种替代的预处理方法。对于使用标记过数据的训练作业，您通常需要预处理数据集，从而在训练前将输入数据与元数据组合起来。如果您的训练数据集较大，预处理的时间可能会较长，成本高昂。

增强清单文件格式

增强清单文件必须采用 JSON 行格式。在 JSON 行格式中，文件的每一行是一个完整的 JSON 对象，后跟换行分隔符。

在训练过程中， SageMaker 分析每行 JSON 行，并将其部分或全部属性发送到训练算法。您可以使用 CreateTrainingJob API 的 AttributeNames 参数指定要传递哪些属性内容以及传递的顺序。这些区域有：AttributeNames参数是属性名称的有序列表 SageMaker 在 JSON 对象中查找用作训练输入。

例如，如果您为 AttributeNames 列出 ["line", "book"]，则输入数据必须按指定顺序包括 line 和 book 的属性名称。对于本示例，以下增强清单文件内容有效：

{"author": "Herman Melville", "line": "Call me Ishmael", "book": "Moby Dick"}
{"line": "It was love at first sight.", "author": "Joseph Heller", "book": "Catch-22"}

SageMaker 会忽略未列出的属性名称，即使这些属性位于列出的属性之前、之后或之间。

使用增强清单文件时，请遵循以下准则：

如果属性名称包含后缀 -ref，则属性的值必须是指向数据文件的 S3 URI 并且训练作业可以访问该 URI。例如，如果AttributeNames包含["image-ref", "is-a-cat"]中，以下示例显示有效的增强清单文件：

{"image-ref": "s3://mybucket/sample01/image1.jpg", "is-a-cat": 1}
{"image-ref": "s3://mybucket/sample02/image2.jpg", "is-a-cat": 0}

如果是此清单文件的第一行 JSON， SageMaker 检索image1.jpg来自的文件s3://mybucket/sample01/以及的字符串表示形式is-a-cat属性"1"对于图像分类。

流式处理增强清单文件数据

增强清单格式使您可以使用文件在管道模式下进行训练，而无需创建 RecordIO 文件。您需要将训练通道和验证通道指定为 CreateTrainingJob 请求的 InputDataConfig 参数的值。只有使用管道输入模式的通道才支持增强清单文件。对于每个通道，数据提取自其增强清单文件，并通过通道的指定管道（按顺序）流式传输到算法。管道模式使用先进先出 (FIFO) 方法，因此记录按照排队的顺序处理。有关管道输入模式的信息，请参阅Input Mode.

具有 "-ref" 后缀的属性名称指向预先格式化的二进制数据。在某些情况下，算法知道如何解析数据。在另一些情况下，您可能需要包装数据，针对算法来分隔记录。如果算法与 RecordIO 格式数据兼容，请为 RecordWrapperType 指定 RecordIO 以解决此问题。如果算法不与 RecordIO 格式兼容，请为 RecordWrapperType 指定 None 并确保针对您的算法正确解析了数据。

使用 ["image-ref", "is-a-cat"] 示例，如果您使用 RecordIO 包装，则将以下数据流发送到队列：

recordio_formatted(s3://mybucket/foo/image1.jpg)recordio_formatted("1")recordio_formatted(s3://mybucket/bar/image2.jpg)recordio_formatted("0")

未使用 RecordIO 格式包装的图像将通过相应的流式传输is-a-cat属性值作为一条记录。由于算法可能没有正确的分隔图像和属性，这可能会导致问题。有关使用增强清单文件进行映像分类的更多信息，请参阅使用扩增清单图像格式进行训练.

通常使用增强清单文件和管道模式时，EBS 卷的大小限制不适用。这包括原本必须位于 EBS 卷大小限制内的设置，例如：S3DataDistributionType . 有关管道模式以及如何使用该模式的更多信息，请参阅使用您自己的训练算法-输入数据配置.

使用增强清单文件（控制台）

要完成此过程，您需要：

在培训工作完成之后 SageMaker 将模型工件存储在您提供的路径的存储桶中输出路径中的输出数据配置字段中返回的子位置类型。要部署模型以获取预测，请参阅步骤 5：将模型部署到亚马逊 EC2。

使用增强清单文件 (API)

以下显示了如何使用增强清单文件训练模型。使用 SageMaker 高级 Python 库：

import sagemaker

# Create a model object set to using "Pipe" mode.
model = sagemaker.estimator.Estimator(
    training_image,
    role,
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    volume_size = 50,
    max_run = 360000,
    input_mode = 'Pipe',
    output_path=s3_output_location,
    sagemaker_session=session
)

# Create a train data channel with S3_data_type as 'AugmentedManifestFile' and attribute names.
train_data = sagemaker.inputs.TrainingInput(
    your_augmented_manifest_file,
    distribution='FullyReplicated',
    content_type='application/x-recordio',
    s3_data_type='AugmentedManifestFile',
    attribute_names=['source-ref', 'annotations'],
    input_mode='Pipe',
    record_wrapping='RecordIO'
)

data_channels = {'train': train_data}

# Train a model.
model.fit(inputs=data_channels, logs=True)

在培训工作完成之后 SageMaker 将模型工件存储在您提供的路径的存储桶中输出路径中的输出数据配置字段中返回的子位置类型。要部署模型以获取预测，请参阅步骤 5：将模型部署到亚马逊 EC2。