Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

访问训练数据

创建训练作业时，可以指定训练数据集的位置以及用于访问数据集的输入模式。在数据定位方面，亚马逊 SageMaker 支持亚马逊简单存储服务 (Amazon S3)、亚马逊弹性文件系统 (Amazon EFS) 和适用于 Lustre 的亚马逊 FSx。输入模式决定是实时流式传输数据集的数据文件，还是在训练作业开始时下载整个数据集。

SageMaker 输入模式和 Amazon 云存储

本节总结了亚马逊 S3 的 SageMaker 输入模式以及亚马逊 EFS 中的文件系统和 Lustre 版 Amazon FSx 中的文件系统。

使用 SageMaker Python 软件开发工具包选择数据输入模式

SageMaker Python SDK 为用于启动训练作业的机器学习框架提供了通用 E stimator 类及其变体。在配置 SageMaker Estimator类或Estimator.fit方法时，可以指定其中一种数据输入模式。以下代码模板显示指定输入模式的两种方法。

使用 Estimator 类指定输入模式

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://my-bucket/checkpoint-destination/',
    output_path='s3://my-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://my-bucket/my-data/train")
)

欲了解更多信息，请参阅 Python SDK 文档中的 sagemaker.estimator.estimator.estimat or 类。SageMaker

通过 Estimator 拟合方法指定输入模式

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://my-bucket/checkpoint-destination/',
    output_path='s3://my-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://my-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

欲了解更多信息，请参阅 sagemaker.estimator.e stimator.fit 类方法和 sagemaker.inputs。TrainingInputSageMaker Python 软件开发工具包文档中的类。

有关如何使用低级 SageMaker API 设置数据输入模式的更多信息亚马逊如何 SageMaker 提供培训信息，请参阅 CreateTrainingJobAPI 和TrainingInputMode中的AlgorithmSpecification。

将数据输入通道配置为使用适用于 Lustre 的 Amazon FSx

了解如何使用适用于 Lustre 的 Amazon FSx 作为数据来源，通过缩短数据加载时间来提高吞吐量和训练速度。

将 Amazon S3 与适用于 Lustre 的 Amazon FSx 同步

要将您的 Amazon S3 与适用于 Lustre 的 Amazon FSx 关联并上传您的训练数据集，请执行以下操作。

将 Amazon FSx 文件系统路径设置为训练的数据输入通道 SageMaker

以下过程将引导您完成将 Amazon FSx 文件系统设置为 SageMaker 训练作业数据源的过程。

Using the SageMaker Python SDK

要正确将 Amazon FSx 文件系统设置为数据源，请配置 SageMaker估算器类并FileSystemInput使用以下指令。

1. 配置 FileSystemInput 类对象。

   from sagemaker.inputs import FileSystemInput
   
   train_fs = FileSystemInput(
       file_system_id="fs-0123456789abcdef0",
       file_system_type="FSxLustre",
       directory_path="/1234abcd/ns1/",
       file_system_access_mode="ro",
   )

   提示

   指定 directory_path 时，请务必提供以 MountName 开头的 Amazon FSx 文件系统路径。

2. 使用用于 Amazon FSx 文件系统的 VPC 配置来配置 SageMaker 估算器。

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       role="your-iam-role-with-access-to-your-fsx",
       subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
       security_group_ids="security-group-id"
   )

3. 通过在 Amazon FSx 文件系统中运行 estimator.fit 方法来启动训练作业。

   estimator.fit(train_fs)

要查找更多代码示例，请参阅 SageMaker Python SDK 文档中的使用文件系统作为训练输入。

Using the SageMaker CreateTrainingJob API

作为CreateTrainingJob请求 JSON 的一部分，请按以下方式进行配置InputDataConfig。

"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],

提示

指定 DirectoryPath 时，请务必提供以 MountName 开头的 Amazon FSx 文件系统路径。

配置适用于 Lustre 的 FSx 时的提示和注意事项

选择数据来源和输入模式的最佳实践

训练作业的最佳数据来源取决于工作负载特征，例如数据集的大小、文件格式、文件的平均大小、训练持续时间、顺序或随机数据加载器读取模式以及模型消耗训练数据的速度。以下最佳实践为开始使用最适合您的使用案例的输入模式和数据存储提供了指导。

何时使用 Amazon EFS

如果您的数据集存储在 Amazon Elastic File System 中，您可能有使用 Amazon EFS 进行存储的预处理或注释应用程序。您可以运行已配置为数据通道指向 Amazon EFS 文件系统的训练作业。有关更多信息，请参阅 SageMaker 使用适用于 Lustre 的 Amazon FSx 和 Amazon EFS 文件系统加快在亚马逊上的培训速度。如果您无法获得更好的性能，请按照 Amazon Elastic File System 性能指南检查您的优化选项，或者考虑使用不同的输入模式或数据存储。

为小型数据集使用文件模式

如果数据集存储在 Amazon Simple Storage Service 中，并且其总体容量相对较小（例如，小于 50-100 GB），请尝试使用文件模式。下载 50 GB 数据集的开销可能因文件总数而异。例如，如果将数据集分为 100 MB 的分片，则需要大约 5 分钟。该启动开销是否可以接受主要取决于训练作业的总体持续时间，因为更长的训练阶段意味着下载阶段相应地缩小。

对多个小文件进行序列化

如果您的数据集大小较小（小于 50-100 GB）、但由许多小文件组成（每个文件小于 50 MB），则文件模式下的下载开销会增加，因为每个文件都需要从 Amazon Simple Storage Service 单独下载到训练实例卷。为了总体上减少这种开销和数据遍历时间，可以考虑使用文件格式（例如 TFRecord for、for 和 R ecordio f or MXnet），将此类小文件组序列化为 TensorFlow较少的大文件容器（例如每个文件 150 MB）。 WebDataset PyTorch

何时使用快速文件模式

对于文件较大（每个文件超过 50 MB）的较大数据集，第一种选择是尝试使用快速文件模式，该模式比适用于 Lustre 的 FSx 更为直接，因为它不需要创建文件系统或连接到 VPC。快速文件模式非常适合大型文件容器（超过 150 MB），可能还适用于大于 50 MB 的文件。由于快速文件模式提供 POSIX 界面，因此它支持随机读取（读取非顺序字节范围）。但这不是理想的使用案例，您的吞吐量可能会低于顺序读取的吞吐量。不过，如果您有一个相对较大的计算密集型机器学习模型，则快速文件模式可能仍然能够让训练管线的有效带宽达到饱和，而不会导致 IO 瓶颈。您需要进行试验以确定效果。要从文件模式切换到快速文件模式（然后切换），只需在使用 SageMaker Python SDK 定义输入通道时添加（或删除）input_mode='FastFile'参数即可：

sagemaker.inputs.TrainingInput(S3_INPUT_FOLDER,  input_mode = 'FastFile')

何时使用适用于 Lustre 的 Amazon FSx

如果您的数据集对于文件模式来说太大，有许多无法轻松序列化的小文件，或者您的数据集使用随机读取访问模式，那么适用于 Lustre 的 FSx 是一个不错的选择。它的文件系统可扩展到每秒数百 GB (GB/s) 的吞吐量和数百万的 IOPS，是小文件数量较多时的理想选择。但请注意，由于延迟加载以及设置和初始化适用于 Lustre 的 FSx 文件系统的开销，可能会出现冷启动问题。

用于多租户培训的基于属性的访问控制 (ABAC)

在多租户环境中，确保每个租户的数据是隔离的，并且只有授权实体才能访问，这一点至关重要。 SageMaker 支持使用基于属性的访问控制 (ABAC) 来实现训练作业的这种隔离。您无需为每个租户创建多个 IAM 角色，而是可以通过配置会话链配置来为所有租户使用相同的 IAM 角色，该配置使用 Amazon Security Token Service (Amazon STS) 会话标签为您的训练作业请求临时的、有限权限的证书以访问特定租户。有关会话标签的更多信息，请参阅中的传递会话标签 Amazon STS。

创建训练作业时，您的会话链接配置使用 Amazon STS 来请求临时安全证书。此请求会生成一个会话，该会话已被标记。每个 SageMaker 训练作业只能使用所有训练作业共享的单个角色访问特定的租户。通过使用会话链接实现 ABAC，您可以确保每个训练作业只能访问会话标签指定的租户，从而有效地隔离和保护每个租户。以下部分将指导您完成使用 Pyth SageMaker on SDK 设置和使用 ABAC 进行多租户训练作业隔离的步骤。

先决条件

要开始使用 ABAC 进行多租户训练作业隔离，您必须具备以下条件：

创建启用会话标签链接的训练作业

以下过程向您展示如何使用支持 ABAC 的多租户训练的 SageMaker Python SDK 创建带有会话标签链的训练作业。

SageMaker 只能读取训练任务请求中提供的标签，不能代表您向资源添加任何标签。

用于 SageMaker 训练的 ABAC 与 SageMaker 托管温池兼容。要将 ABAC 与温池一起使用，匹配的训练作业必须具有相同的会话标签。有关更多信息，请参阅 匹配的训练作业。