View a markdown version of this page

将 FSx 适用于 Lustre 的 Amazon 和 FSx 适用于 OpenZFS 的亚马逊安装到集群 HyperPod - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将 FSx 适用于 Lustre 的 Amazon 和 FSx 适用于 OpenZFS 的亚马逊安装到集群 HyperPod

要将 Amazon f FSx or Lustre 共享文件系统挂载到您的 HyperPod 集群，请进行以下设置。

  1. 使用 Amazon VPC。

    1. 要使 HyperPod 集群实例在您的 VPC 内进行通信，请确保将附加SageMaker HyperPod 使用自定义 Amazon VPC 进行设置到的 IAM 角色 SageMaker HyperPod。

    2. 在 create_cluster.json 中，包含以下 VPC 信息。

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      有关设置 Amazon VPC 的更多提示，请参阅 使用的先决条件 SageMaker HyperPod。

  2. 要完成使用 Ama FSx zon for Lustre 配置 Slurm，你可以使用以下方法之一。您可以通过账户中的 Amazon for FSx Lustre 控制台或运行以下 Amazon CLI 命令来查找亚马逊 FSx 信息。aws fsx describe-file-systems

    选项 A：API 驱动的配置（推荐）

    在每个实例组中使用直接在 CreateCluster API 负载InstanceStorageConfigs中指定 Amazon FSx 配置。这种方法同时 FSx 支持 Lustre 和 OpenZFS，并且允许 FSx 进行配置。 per-instance-group FSx 

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    对 FSx 于 OpenZFS，请改用FsxOpenZfsConfig：

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    有关更多详细信息，请参阅 Amazon CLI SageMaker HyperPod 使用入门。

    选项 B：传统配置

    provisioning_parameters.json如本提供的基本生命周期脚本 HyperPod节图所示，在中指定 Amazon FSx DNS 名称和亚马逊 FSx 挂载名称。

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"