Amazon 深度学习基础 GPU AMI（亚马逊 Linux 2023）

如需入门帮助，请参阅DLAMI 入门。

AMI 名称格式

深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）$ {YYYY-MM-DD}

支持的 EC2 实例

请参阅 DLAMI 的重要更改
使用 OSS 进行深度学习 Nvidia Driver 支持 g4dn、G5、G6、Gr6、G6e、p4d、p4de、P5、p5e、p5e、p5en、P6-B200

AMI 包括以下内容：

支持的 Amazon 服务：Amazon EC2
操作系统：亚马逊 Linux 2023
计算架构：x86
以下软件包已安装最新可用版本：
- Linux 内核：6 .1
- FSx Lustre
- 英伟达 GDS
- Docker
- Amazon CLI v2 位于/usr/local/bin/aws2 和 Amazon CLI v1 位于/usr/bin/aws
- 英伟达 DCGM
- 英伟达容器工具包：
  - 版本命令： nvidia-container-cli-V
- nvidia-docker2：
  - 版本命令：nvidia-docker 版本
NVIDIA 驱动程序：570.133.20
NVIDIA CUDA 12.4-12.6 和 12.8 堆栈：
- C@@ UDA、NCCL 和 cudDN 安装目录：/-xx.x/ usr/local/cuda
  - 示例：/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/
- 已编译的 NCCL 版本：2.26.5
- 默认 CUDA：12.8
  - 路径/ usr/local/cuda 指向 CUDA 12.8
  - 在环境变量下方更新：
    
    LD_LIBRARY_PATH 要有/usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.4/targets/x86_64-linux/lib
    拥有路径/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/
    对于任何不同的 CUDA 版本，请相应地更新 LD_LIBRARY_PATH。
EFA 安装程序：1.40.0
英伟达 GDRCopy：2.5.1
Amazon OFI NCCL 插件附带 EFA 安装程序
- 路径/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efa已添加到 LD_LIBRARY_PATH。
Amazon CLI v2 位于/usr/local/bin/aws2 和 Amazon CLI v1 位于/usr/bin/aws
EBS 卷类型：gp3
Python：/usr/bin/python3.9
NVMe 实例存储位置（在支持的 EC2 实例上）：/opt/dlami/nvme

使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

OSS 英伟达驱动程序：


SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
    aws ssm get-parameter --region us-east-1 \
    --name /aws/service/deeplearning/ami/x86_64/$SSM_PARAMETER  \
    --query "Parameter.Value" \
    --output text

使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

OSS 英伟达驱动程序：


aws ec2 describe-images --region us-east-1 \
    --owners amazon \
    --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' \
    --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
    --output text

版权声明

NVIDIA 容器工具包 1.17.4

在 Container Toolkit 版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

Support 政策

此 AMI 的这些 AMIs 组件（如 CUDA 版本）可能会根据框架支持政策进行删除和更改，或者为了优化深度学习容器的性能或在未来的版本中缩小 AMI 大小，恕不另行通知。 AMIs 如果 CUDA 版本未被任何支持的框架版本使用，我们会将其从中删除。

P6-B200 实例

P6-B200 实例包含 8 个网络接口卡，可以使用以下 Amazon CLI 命令启动：


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=5,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=6,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=7,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

P5en 实例

P5en 实例包含 16 个网络接口卡，可以使用以下 Amazon CLI 命令启动：


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=15,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

p5/p5e 实例

P5 和 P5e 实例包含 32 个网络接口卡，可以使用以下命令启动： Amazon CLI


aws ec2 run-instances --region $REGION \
    --instance-type $INSTANCETYPE \
    --image-id $AMI --key-name $KEYNAME \
    --iam-instance-profile "Name=dlami-builder" \
    --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \
    --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \
      ...
      "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"

内核

使用以下命令固定内核版本：
```
sudo dnf versionlock kernel*
```
我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍希望更新，他们可以运行以下命令来取消固定其内核版本：
```
sudo dnf versionlock delete kernel*
sudo dnf update -y
```
对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

发布日期：2025-05-15

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250515

新增了

增加了对 P6-B200 EC2 实例的支持

已更新

将 EFA 安装程序从版本 1.38.1 升级到 1.40.0
GDRCopy 从 2.4 版升级到 2.5 版
将 Amazon OFI NCCL 插件从 1.13.0-aws 版本升级到 1.14.2-aws
将编译后的 NCCL 版本从 2.25.1 版本更新为 2.26.5
将默认 CUDA 版本从版本 12.6 更新为 12.8
将 Nvidia DCGM 版本从 3.3.9 更新到 4.4.3

发布日期：2025-04-22

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250421

已更新

将 Nvidia 驱动程序从 570.124.06 版本升级到 570.133.20，以解决 2025 年 4 月 NVIDIA G PU CVEs 显示驱动程序安全公告中提到的问题

发布日期：2025-03-31

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250328

新增了

增加了对 NVIDIA GPU 直接存储 (GDS) 的支持

发布日期：2025-02-17

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250215

已更新

将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版
- 有关更多信息，请参阅此处的发行说明页面：https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17. 4
- 在容器工具包版本 1.17.4 中，现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容，请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库，如如果您使用 CUDA 兼容层教程中所示。

已删除

删除了 NV IDIA CUDA 工具包提供的用户空间库 cuobj 和 nvd isasm，以解决在 2025 年 2 月 18 日的 NVIDIA CUDA 工具包安全公告中 CVEs 出现的问题

发布日期：2025-02-05

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250205

新增了

在目录中添加了 CUDA 工具包 12.6 版本 /-12.6 usr/local/cuda
增加了对 G5 实例 EC2 的支持

已删除

CUDA 版本 12.1 和 12.2 已从此 DLAMI 中删除。需要这些 CUDA 工具包版本的客户可以使用以下链接直接从 NVIDIA 进行安装
- https://developer.nvidia.com/cuda-toolkit-archive

发布日期：2025-02-03

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250131

已更新

将 EFA 版本从 1.37.0 升级到 1.38.0
- EFA 现在捆绑了 Amazon OFI NCCL 插件，该插件现在可以在 /-ofi-nccl/ 中找到。opt/amazon/ofi-nccl rather than the original /opt/aws如果要更新 LD_LIBRARY_PATH 变量，请确保正确修改 OFI NCCL 位置。
将 Nvidia 容器工具包从 1.17.3 升级到 1.17.4

发布日期：2025-01-08

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20250107

已更新

增加了对 G4dn 实例的支持

发布日期：2024-12-09

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20241206

已更新

将 Nvidia 容器工具包从 1.17.0 版升级到 1.17.3 版

发布日期：2024-11-21

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20241121

新增了

增加了对 P5en 实例 EC2 的支持。

已更新

将 EFA 安装程序从版本 1.35.0 升级到 1.37.0
将 Amazon OFI NCCL 插件从 1.121-aws 版本升级到 1.13.0-aws

发布日期：2024-10-30

AMI 名称：深度学习基础 OSS Nvidia Driver GPU AMI（亚马逊 Linux 2023）20241030

新增了

适用于 Amazon Linux 2023 的深度学习基础 OSS DLAMI 的首次发布

已知问题

此 DLAMI 目前不支持 G4dn 和 G5 实例。 EC2 Amazon 意识到在将开源 NVIDIA 驱动程序与 Linux 内核版本 6.1 或更高版本一起使用时，可能会导致 CUDA 初始化失败，从而影响 G4dN 和 G5 实例系列。此问题会影响 Linux 发行版，例如亚马逊 Linux 2023、Ubuntu 22.04 或更高版本或 SUSE Linux Enterprise Server 15 SP6 或更高版本等。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

X86

基本 GPU AMI (Ubuntu 24.04)