开始 SageMaker HyperPod使用 Amazon CLI

首先，准备生命周期脚本并将其上传到 Amazon S3 存储桶。在创建集群期间，在每个实例组中 HyperPod 运行它们。使用以下命令将生命周期脚本上传到 Amazon S3。

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

如果您是从头开始，请使用 Awsome 分布式训练 GitHub 存储库中提供的示例生命周期脚本。以下子步骤说明了如何下载、修改和上传示例生命周期脚本到 Amazon S3 存储桶。

1. 下载生命周期脚本示例到本地计算机的一个目录中。

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. 进入目录 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config，可以找到一组生命周期脚本。

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   要了解生命周期脚本示例的更多信息，请参阅 使用生命周期脚本自定义 SageMaker HyperPod集群。

3. 编写 Slurm 配置文件并保存为 provisioning_parameters.json。在文件中，指定基本的 Slurm 配置参数，以便将 Slurm 节点正确分配给集群实例组。 SageMaker HyperPod 在本教程中，请设置三个 Slurm 节点，分别命名为 my-controller-group、my-login-group 和 worker-group-1，如以下示例配置 provisioning_parameters.json 所示。

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. 将脚本上传到 s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src。您可以使用 Amazon S3 管理控制台或运行以下 Amazon CLI Amazon S3 命令来完成此操作。

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

准备一个 JSON 格式的CreateCluster请求文件并另存为create_cluster.json。以下请求模板与步骤 1.c 中 provisioning_parameters.json 中定义的 Slurm 节点配置一致。对于 ExecutionRole，请提供在 使用 SageMaker HyperPod 的先决条件 中使用托管的 AmazonSageMakerClusterInstanceRolePolicy 创建的 IAM 角色的 ARN。

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": <integer>
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

运行以下命令创建集群。

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

这将返回已创建集群的 ARN。

如果因资源限制而出现错误，请确保将实例类型更改为账户中有足够配额的类型，或按照 SageMaker HyperPod 配额中的说明操作来请求额外配额。

运行 describe-cluster 查看集群状态。

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

集群状态变为 InService 后，进入下一步。

运行 list-cluster-nodes 检查集群节点的详细信息。

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

这将返回一个响应，InstanceId 是集群用户登录 (aws ssm) 所需的信息。有关登录集群节点和运行 ML 工作负载的更多信息，请参阅 SageMaker HyperPod 集群上的作业。