Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

通过增强清单文件，将数据集元数据提供给训练作业

要在训练作业中随您的数据集包含元数据，请使用增强清单文件。使用增强清单文件时，您的数据集必须存储在 Amazon Simple Storage Service (Amazon S3) 中，并且必须配置训练作业以使用存储在该位置的数据集。您可以为一个或多个 Channel 指定此数据集的位置和格式。增强清单只能支持管道输入模式。请阅读 Channel 中的 InputMode 部分，详细了解管道输入模式。

指定通道参数时，您需要指定文件的路径，称为 S3Uri。Amazon SageMaker 根据在 S3DataSource 中指定的 S3DataType 解析此 URI。AugmentedManifestFile 选项定义随输入数据包括元数据的清单格式。在您有标记过的数据时，使用增强清单文件是一种替代的预处理方法。对于使用标记过数据的训练作业，您通常需要预处理数据集，从而在训练前将输入数据与元数据组合起来。如果您的训练数据集较大，预处理的时间可能会较长，成本高昂。

增强清单文件格式

增强清单文件必须采用 JSON 行格式。在 JSON 行格式中，文件的每一行是一个完整的 JSON 对象，后跟换行分隔符。

在训练期间，SageMaker 解析各个 JSON 行，并将其部分或全部属性发送给训练算法。您可以使用 CreateTrainingJob API 的 AttributeNames 参数指定要传递哪些属性内容以及传递的顺序。AttributeNames 参数是 SageMaker 在 JSON 对象中查找用作训练输入的有序属性名称列表。

例如，如果您为 AttributeNames 列出 ["line", "book"]，则输入数据必须按指定顺序包括 line 和 book 的属性名称。对于本示例，以下增强清单文件内容有效：

{"author": "Herman Melville", "line": "Call me Ishmael", "book": "Moby Dick"}
{"line": "It was love at first sight.", "author": "Joseph Heller", "book": "Catch-22"}

SageMaker 忽略未列出的属性名称，即使这些属性位于所列出的属性之前、之后或之间。

使用增强清单文件时，请遵循以下准则：

如果属性名称包含后缀 -ref，则属性的值必须是指向数据文件的 S3 URI 并且训练作业可以访问该 URI。例如，如果 AttributeNames 包含 ["image-ref", "is-a-cat"]，以下示例显示有效的增强清单文件：

{"image-ref": "s3://mybucket/sample01/image1.jpg", "is-a-cat": 1}
{"image-ref": "s3://mybucket/sample02/image2.jpg", "is-a-cat": 0}

在此清单文件的第一行 JSON 中，SageMaker 会从 s3://mybucket/sample01/ 检索 image1.jpg 文件，并检索 is-a-cat 属性 "1" 的字符串表示形式，用于图像分类。

流式处理增强清单文件数据

通过增强清单格式，您可以使用文件在管道模式下进行训练，而无需创建 RecordIO 文件。您需要将训练通道和验证通道指定为 CreateTrainingJob 请求的 InputDataConfig 参数的值。只有使用管道输入模式的通道才支持增强清单文件。对于每个通道，数据提取自其增强清单文件，并通过通道的指定管道（按顺序）流式传输到算法。管道模式使用先进先出 (FIFO) 方法，因此记录按照排队的顺序处理。有关管道输入模式的信息，请参阅Input Mode。

具有 "-ref" 后缀的属性名称指向预先格式化的二进制数据。在某些情况下，算法知道如何解析数据。在另一些情况下，您可能需要包装数据，针对算法来分隔记录。如果算法与 RecordIO 格式数据兼容，请为 RecordWrapperType 指定 RecordIO 以解决此问题。如果算法不与 RecordIO 格式兼容，请为 RecordWrapperType 指定 None 并确保针对您的算法正确解析了数据。

使用 ["image-ref", "is-a-cat"] 示例，如果您使用 RecordIO 包装，则将以下数据流发送到队列：

recordio_formatted(s3://mybucket/foo/image1.jpg)recordio_formatted("1")recordio_formatted(s3://mybucket/bar/image2.jpg)recordio_formatted("0")

未使用 RecordIO 格式包装的图像，将通过对应的 is-a-cat 属性值流式处理为一个记录。由于算法可能没有正确的分隔图像和属性，这可能会导致问题。有关使用增强清单文件进行图像分类的详细信息，请参阅使用增强清单图像格式训练。

通常使用增强清单文件和管道模式时，EBS 卷的大小限制不适用。这包括原本必须位于 EBS 卷大小限制内的设置，例如 S3DataDistributionType 。有关管道模式以及如何使用该模式的更多信息，请参阅使用您自己的训练算法 – 输入数据配置。

使用增强清单文件（控制台）

要完成此过程，您需要：

训练作业完成后，SageMaker 会将模型构件存储在存储桶中，其路径由您在输出数据配置字段的 S3 输出路径中提供。要部署模型以获取预测，请参阅步骤 5：将模型部署到 Amazon EC2。

使用增强清单文件 (API)

下文说明了如何使用 SageMaker 高级 Python 库，通过增强清单文件训练模型：

import sagemaker

# Create a model object set to using "Pipe" mode.
model = sagemaker.estimator.Estimator(
    training_image,
    role,
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    volume_size = 50,
    max_run = 360000,
    input_mode = 'Pipe',
    output_path=s3_output_location,
    sagemaker_session=session
)

# Create a train data channel with S3_data_type as 'AugmentedManifestFile' and attribute names.
train_data = sagemaker.inputs.TrainingInput(
    your_augmented_manifest_file,
    distribution='FullyReplicated',
    content_type='application/x-recordio',
    s3_data_type='AugmentedManifestFile',
    attribute_names=['source-ref', 'annotations'],
    input_mode='Pipe',
    record_wrapping='RecordIO'
)

data_channels = {'train': train_data}

# Train a model.
model.fit(inputs=data_channels, logs=True)

训练作业完成后，SageMaker 会将模型构件存储在存储桶中，其路径由您在输出数据配置字段的 S3 输出路径中提供。要部署模型以获取预测，请参阅步骤 5：将模型部署到 Amazon EC2。