SageMaker HyperPod 生命周期配置最佳实践

provisioning_parameters.json— 这是一个用于在上配置 Slurm 节点的配置表 HyperPod. 该on_create.sh脚本会找到此 JSON 文件并定义用于标识其路径的环境变量。通过这个 JSON 文件，你可以配置 Slurm 节点和要与之通信的存储选项，例如 Amazon for Lustre for Lustre for Slurm 的存储选项。在中provisioning_parameters.json，请确保根据计划设置方式，使用您在中create_cluster.json指定的名称将 HyperPod 集群实例组适当地分配给 Slurm 节点。

下图显示了如何编写两个 JSON 配置文件create_cluster.json和provisioning_parameters.json以将 HyperPod 实例组分配给 Slurm 节点的示例。在此示例中，我们假设设置了三个 Slurm 节点：控制器（管理）节点、登录节点（可选）和计算（工作节点）。

图： HyperPod集群创建和 Slurm 配置之间的create_cluster.json直接比较。provisiong_params.json中的实例组数量create_cluster.json应与您要配置为 Slurm 节点的节点数量相匹配。对于图中的示例，将在由三个实例组组组成的 HyperPod 集群上配置三个 Slurm 节点。您应通过相应地指定实例组名称将 HyperPod 集群实例组分配给 Slurm 节点。

resource_config.json— 在创建集群期间，编写lifecycle_script.py脚本是为了期望有来自的resource_config.json文件 HyperPod。此文件包含有关集群的信息，例如实例类型和 IP 地址。

运行 CreateCluster API 时， HyperPod 会/opt/ml/config/resource_config.json根据该文件在上创建资源配置create_cluster.json文件。文件路径保存到名为的环境变量中SAGEMAKER_RESOURCE_CONFIG_PATH。

{
    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py— 这是主要 Python 脚本，它在配置时共同运行在 HyperPod 集群上设置 Slurm 的生命周期脚本。此脚本读取中provisioning_parameters.json指定或标识的路径on_create.sh，将相关信息传递给每个生命周期脚本，然后按顺序运行生命周期脚本。resource_config.json

生命周期脚本是一组脚本，您可以完全灵活地对其进行自定义，以便在集群创建期间安装软件包并设置必要的或自定义配置，例如设置 Slurm、创建用户、安装 Conda 或 Docker。该示例lifecycle_script.py脚本已准备好在存储库中运行其他基本生命周期脚本，例如启动 Slurm deamons (start_slurm.sh)、为 Lustre 挂载 Amazon FSx () 以及设置 MariaDB 会计 (mount_fsx.sh) 和 RDS 会计 ()。setup_mariadb_accounting.shsetup_rds_accounting.sh您还可以添加更多脚本，将它们打包到同一个目录下，然后向中添加代码行lifecycle_script.py以让脚本 HyperPod 运行。有关基本生命周期脚本的更多信息，另请参阅 Awsome Distributed Training GitHub 存储库中的 3.1 生命周期脚本。

除了默认设置外，该utils文件夹下还有更多用于安装以下软件的脚本。该lifecycle_script.py文件已经准备好包含用于运行安装脚本的代码行，因此请参阅以下项目来搜索这些行并取消注释以激活它们。

要使 HyperPod 集群实例在您的 VPC 内进行通信，请确保将附加（可选）用于亚马逊 Virtual Priv SageMaker HyperPod ate Cloud 的额外权限到的 IAM 角色 SageMaker HyperPod。

在中create_cluster.json，包括以下 VPC 信息。

"VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

有关设置 Amazon VPC 的更多提示，请参阅（可选） SageMaker HyperPod 使用您的亚马逊 VPC 进行设置。

HyperPod 以 root 用户身份运行生命周期脚本，因此我们建议您在开发时以 root 用户身份运行，以确保脚本在运行时在相同的条件下进行测试 HyperPod。configure_xyz.sh