Amazon SageMaker 如何提供训练信息 - Amazon SageMaker
Hyperparameters环境变量输入数据配置 训练数据分布式训练配置
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon SageMaker 如何提供训练信息

本节介绍 SageMaker 如何为您的 Docker 容器提供训练信息，如训练数据、超参数和其他配置信息。

向 发送 CreateTrainingJob 请求以启动模型训练时，您可以指定包含训练算法的 Docker 镜像的 SageMaker 路径。Amazon Elastic Container Registry您还要指定存储训练数据的 Amazon Simple Storage Service (Amazon S3) 位置以及特定于算法的参数。SageMaker 为 Docker 容器提供此信息，以便您的训练算法可以使用它。本节介绍我们如何向您的 Docker 容器提供此信息。有关创建训练作业的信息，请参阅CreateTrainingJob。 有关 SageMaker 容器如何组织信息的更多信息，请参阅使用 SageMaker 训练和推理工具包 。

Hyperparameters

SageMaker 在 Docker 容器的 /opt/ml/input/config/hyperparameters.json 文件中提供 CreateTrainingJob 请求中的超参数。

环境变量

输入数据配置

您在 CreateTrainingJob 请求的 InputDataConfig 参数中指定数据通道信息。SageMaker 在 Docker 容器的 /opt/ml/input/config/inputdataconfig.json 文件中提供此信息。

例如，假设您在请求中指定三个数据通道（train、evaluation 和 validation）。SageMaker 提供以下 JSON： 


{
"train" : {"ContentType":  "trainingContentType",
           "TrainingInputMode": "File",
           "S3DistributionType": "FullyReplicated",
           "RecordWrapperType": "None"},
"evaluation" : {"ContentType":  "evalContentType",
                "TrainingInputMode": "File",
                "S3DistributionType": "FullyReplicated",
                "RecordWrapperType": "None"},
"validation" : {"TrainingInputMode": "File",
                "S3DistributionType": "FullyReplicated",
                "RecordWrapperType": "None"}
}
注意

SageMaker 只向容器提供每个数据通道的相关信息 (例如，通道名称和内容类型)，如下所示。将 EFS 或 S3DistributionType 指定为输入数据源时，FullyReplicated 将设置为 FSxLustre。

训练数据

TrainingInputMode 请求中的 CreateTrainingJob 参数指定如何为模型训练提供数据：在 FILE 模式或 PIPE 模式下。根据指定的输入模式，SageMaker 将执行以下操作：

  • FILE 模式 — SageMaker 在 Docker 容器的 /opt/ml/input/data/channel_name 目录中提供通道的数据。例如，如果您有三个通道（名为 training、validation 和 testing），SageMaker 会在 Docker 容器中生成三个目录：

    • /opt/ml/input/data/training

    • /opt/ml/input/data/validation

    • /opt/ml/input/data/testing

    • 注意

      使用文件系统数据源（如 Amazon Elastic File System （Amazon EFS） 和 Amazon FSx）的通道必须使用 FILE 模式。此外，要使用 Amazon FSx 文件服务器，您必须指定以 /fsx 开头的路径。 如果指定了文件系统，则通道中提供的目录路径将挂载在 /opt/ml/input/data/channel_name 中。

  • PIPE mode— 使通道的数据可从指定的管道中获取：SageMaker/opt/ml/input/data/channel_name_epoch_number。 例如，如果您有三个通道（名为 training、validation 和 testing），则需要从以下管道读取：

    • /opt/ml/input/data/training_0,/opt/ml/input/data/training_1, ...

    • /opt/ml/input/data/validation_0, /opt/ml/input/data/validation_1, ...

    • /opt/ml/input/data/testing_0, /opt/ml/input/data/testing_1, ...

    按顺序读取管道。例如，如果您有一个名为 training 的通道，请按以下顺序读取管道：

    1. 在读取模式下打开 /opt/ml/input/data/training_0 并将其读取到文件末尾 （EOF），如果您已完成第一个纪元，则尽早关闭管道文件。

    2. 关闭第一个管道文件后，请查找 /opt/ml/input/data/training_1 并读取它，直到您完成第二个纪元，以此类推。

    如果给定纪元的文件尚不存在，您的代码可能需要重试，直到创建该管道。不存在跨通道类型的顺序限制。例如，对于 training 通道，您可以读取多个纪元，并在准备好后直接开始读取 validation 通道。或者，如果算法要求，您可以同时读取它们。

分布式训练配置

如果您使用多个容器执行分布式训练，SageMaker 会在 /opt/ml/input/config/resourceconfig.json 文件中提供有关所有容器的信息。

要启用容器间通信，此 JSON 文件应包含所有容器的信息。SageMaker 使此文件对 FILE 和 PIPE 模式算法均可用。该文件提供以下信息：

  • current_host — 容器网络中的当前容器的名称。例如，algo-1。 您可以随时更改主机值。不要使用此变量的特定值编写代码。

  • hosts — 容器网络中的所有容器的名称列表，按字典顺序排列。例如，["algo-1", "algo-2", "algo-3"] 用于三节点集群。容器可以使用这些名称来查找容器网络上的其他容器。您可以随时更改主机值。不要使用这些变量的特定值编写代码。

  • network_interface_name — 对您的容器开放的网络接口的名称。例如，运行消息传递接口 (MPI) 的容器可以使用该信息设置网络接口名称。

  • 请勿使用 /etc/hostname 或 /etc/hosts 中的信息，因为可能不准确。

  • 算法容器可能无法立即获得主机名信息。我们建议当节点在集群中可用时，在主机名解析操作上添加重试策略。

下面是三节点集群的节点 1 上的示例文件：

{
"current_host": "algo-1",
"hosts": ["algo-1","algo-2","algo-3"],
"network_interface_name":"eth1"
}