Amazon SageMaker 如何提供训练信息 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon SageMaker 如何提供训练信息

本节介绍 SageMaker 如何为您的 Docker 容器提供训练信息,如训练数据、超参数和其他配置信息。

发送 CreateTrainingJob 请求以启动模型训练时,您可以指定包含训练算法的 Docker 镜像的 SageMaker 路径。Amazon Elastic Container Registry您还要指定存储训练数据的 Amazon Simple Storage Service (Amazon S3) 位置以及特定于算法的参数。SageMaker 为 Docker 容器提供此信息,以便您的训练算法可以使用它。本节介绍我们如何向您的 Docker 容器提供此信息。有关创建训练作业的信息,请参阅CreateTrainingJob。 有关 SageMaker 容器如何组织信息的更多信息,请参阅使用 SageMaker 训练和推理工具包

Hyperparameters

SageMaker 在 Docker 容器的 /opt/ml/input/config/hyperparameters.json 文件中提供 CreateTrainingJob 请求中的超参数。

环境变量

输入数据配置

您在 CreateTrainingJob 请求的 InputDataConfig 参数中指定数据通道信息。SageMaker 在 Docker 容器的 /opt/ml/input/config/inputdataconfig.json 文件中提供此信息。

例如,假设您在请求中指定三个数据通道(trainevaluationvalidation)。SageMaker 提供以下 JSON:

{ "train" : {"ContentType": "trainingContentType", "TrainingInputMode": "File", "S3DistributionType": "FullyReplicated", "RecordWrapperType": "None"}, "evaluation" : {"ContentType": "evalContentType", "TrainingInputMode": "File", "S3DistributionType": "FullyReplicated", "RecordWrapperType": "None"}, "validation" : {"TrainingInputMode": "File", "S3DistributionType": "FullyReplicated", "RecordWrapperType": "None"} }
注意

SageMaker 只向容器提供每个数据通道的相关信息 (例如,通道名称和内容类型),如下所示。将 EFS 或 S3DistributionType 指定为输入数据源时,FullyReplicated 将设置为 FSxLustre。

训练数据

TrainingInputMode 请求中的 CreateTrainingJob 参数指定如何为模型训练提供数据:在 FILE 模式或 PIPE 模式下。根据指定的输入模式,SageMaker 将执行以下操作:

  • FILE 模式 — SageMaker 在 Docker 容器的 /opt/ml/input/data/channel_name 目录中提供通道的数据。例如,如果您有三个通道(名为 trainingvalidationtesting),SageMaker 会在 Docker 容器中生成三个目录:

    • /opt/ml/input/data/training

    • /opt/ml/input/data/validation

    • /opt/ml/input/data/testing

    • 注意

      使用文件系统数据源(如 Amazon Elastic File System (Amazon EFS) 和 Amazon FSx)的通道必须使用 FILE 模式。此外,要使用 Amazon FSx 文件服务器,您必须指定以 /fsx 开头的路径。 如果指定了文件系统,则通道中提供的目录路径将挂载在 /opt/ml/input/data/channel_name 中。

  • PIPE mode— 使通道的数据可从指定的管道中获取:SageMaker/opt/ml/input/data/channel_name_epoch_number。 例如,如果您有三个通道(名为 trainingvalidationtesting),则需要从以下管道读取:

    • /opt/ml/input/data/training_0,/opt/ml/input/data/training_1, ...

    • /opt/ml/input/data/validation_0, /opt/ml/input/data/validation_1, ...

    • /opt/ml/input/data/testing_0, /opt/ml/input/data/testing_1, ...

    按顺序读取管道。例如,如果您有一个名为 training 的通道,请按以下顺序读取管道:

    1. 在读取模式下打开 /opt/ml/input/data/training_0 并将其读取到文件末尾 (EOF),如果您已完成第一个纪元,则尽早关闭管道文件。

    2. 关闭第一个管道文件后,请查找 /opt/ml/input/data/training_1 并读取它,直到您完成第二个纪元,以此类推。

    如果给定纪元的文件尚不存在,您的代码可能需要重试,直到创建该管道。不存在跨通道类型的顺序限制。例如,对于 training 通道,您可以读取多个纪元,并在准备好后直接开始读取 validation 通道。或者,如果算法要求,您可以同时读取它们。

分布式训练配置

如果您使用多个容器执行分布式训练,SageMaker 会在 /opt/ml/input/config/resourceconfig.json 文件中提供有关所有容器的信息。

要启用容器间通信,此 JSON 文件应包含所有容器的信息。SageMaker 使此文件对 FILE 和 PIPE 模式算法均可用。该文件提供以下信息:

  • current_host — 容器网络中的当前容器的名称。例如,algo-1。 您可以随时更改主机值。不要使用此变量的特定值编写代码。

  • hosts — 容器网络中的所有容器的名称列表,按字典顺序排列。例如,["algo-1", "algo-2", "algo-3"] 用于三节点集群。容器可以使用这些名称来查找容器网络上的其他容器。您可以随时更改主机值。不要使用这些变量的特定值编写代码。

  • network_interface_name — 对您的容器开放的网络接口的名称。例如,运行消息传递接口 (MPI) 的容器可以使用该信息设置网络接口名称。

  • 请勿使用 /etc/hostname/etc/hosts 中的信息,因为可能不准确。

  • 算法容器可能无法立即获得主机名信息。我们建议当节点在集群中可用时,在主机名解析操作上添加重试策略。

下面是三节点集群的节点 1 上的示例文件:

{ "current_host": "algo-1", "hosts": ["algo-1","algo-2","algo-3"], "network_interface_name":"eth1" }