Amazon 深度学习 AMI GPU PyTorch 2.6 (Ubuntu 22.04)

• 深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.6。 $ {PATCH-VERSION} (Ubuntu 22.04) $ {YYYY-MM-DD}

• 请参阅 DLAMI 的重要更改。

• 使用 OSS 进行深度学习 Nvidia Driver 支持 G4dn、G5、G6、Gr6、P4、p4de、P5、p5e、p5e、p5eN。

• 支持的 Amazon 服务：Amazon EC2

• 操作系统：Ubuntu 22.04

• 计算架构：x86

• Python:/opt/pytorch/bin/python

• 英伟达驱动程序：

  • OSS Nvidia 驱动程序：570.172.08

• 英伟达 CUDA12 .1 堆栈：

  • CUDA、NCCL 和 cudDN 安装路径：/-12.6/ usr/local/cuda

  • 默认 CUDA：12.6

    • 路径/ usr/local/cuda points to /usr/local/cuda -12.6/

    • 在环境变量下方更新：

      • LD_LIBRARY_PATH 要有/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • 要拥有的路径/usr/local/cuda/bin/:/usr/local/cuda/include/

  • 编译后的系统 NCCL 版本现在/usr/local/cuda/: 2.24.3

  • PyTorch 从 c PyTorch onda 环境中编译的 NCCL 版本：2.21.5

• NCCL 考试地点：

  • all_reduce、all_gather 和 reduce_scatter：/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • 要运行 NCCL 测试，LD_LIBRARY_PATH 已经更新了所需的路径。

  • 已 PATHs 在 LD_LIBRARY_PATH 中添加了常见内容：

  • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH 已使用 CUDA 版本路径更新

  • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• EFA 安装程序：1.38.0

• 英伟达 GDRCopy：2.4.1

• Nvidia 变形金刚引擎：v1.11 .0

• Amazon OFI NCC L：1.13.2-aws

  • 安装路径：/已添加到 LD_L opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/lib IBRARY_PATH。

  • 注意： PyTorch 软件包还附带动态链接的 Amazon OFI NCCL 插件作为 conda 软件 aws-ofi-nccl-dlc包， PyTorch 并将使用该软件包代替系统 OFI NCCL。 Amazon

• Amazon CLI v2 是 aws2，v1 是 aws Amazon CLI

• EBS 卷类型：gp3

• Python 版本：3.11

• 使用 SSM 参数查询 AMI-ID（示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.6-ubuntu-22.04/latest/ami-id  \
        --query "Parameter.Value" \
        --output text

• 使用以下方式查询 AMI-ID AWSCLI （示例区域为 us-east-1）：

  • OSS 英伟达驱动程序：

    aws ec2 describe-images --region us-east-1 \
        --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

• DeviceIndex 对每个都是唯一的 NetworkCard，并且必须是小于 ENIs p NetworkCard er 限制的非负整数。在 P5 上，p ENIs er 的数量 NetworkCard 为 2，这意味着的唯一有效值 DeviceIndex 是 0 或 1。以下是使用 awscli 的 EC2 P5 实例启动命令示例，显示 NetworkCardIndex 从数字 0-31 开始，第一个接口显示 DeviceIndex 为 0，其余 31 个接口显示 DeviceIndex 为 1。

内核

• 使用以下命令固定内核版本： 

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• 我们建议用户避免更新其内核版本（除非有安全补丁），以确保与已安装的驱动程序和软件包版本兼容。如果用户仍希望更新，则可以运行以下命令来取消固定其内核版本： 

  echo linux-aws install | sudo dpkg —set-selections
  echo linux-headers-aws install | sudo dpkg —set-selections
  echo linux-image-aws install | sudo dpkg —set-selections
  apt-get upgrade -y

• 对于每个新版本的 DLAMI，都使用最新可用的兼容内核。

• 深度学习 AMI GPU PyTorch 2.6 (Ubuntu 22.04) 系列的首次发布。包括 Python 虚拟环境 pytorch（来源/opt/pytorch/bin/activate），配有 NVIDIA Driver R570、CUDA=12.6、cudnn=9.7、NCCL=2.21.5 和 EFA=1.38.0。 PyTorch

  • 从 PyTorch 2.6 开始，Pytorch 已弃用对 Conda 的支持（参见官方公告）。因此，Pytorch 2.6 及更高版本将转向使用 Python 虚拟环境。要激活 pytorch venv，请使用源代码/激活 opt/pytorch/bin/activate