本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon 深度学习 AMI GPU PyTorch 2.5 (Ubuntu 22.04)
如需入门帮助,请参阅DLAMI 入门。
AMI 名称格式
深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.5。 $ {PATCH_VERSION} (Ubuntu 22.04) $ {YYYY-MM-DD}
支持的 EC2 实例
请参阅 DLAMI 的重要更改。
使用 OSS 进行深度学习 Nvidia Driver 支持 G4dn、G5、G6、Gr6、P4、p4de、P5、p5e、p5e、p5eN。
AMI 包括以下内容:
支持的 Amazon 服务:Amazon EC2
操作系统:Ubuntu 22.04
计算架构:x86
Python:/opt/conda/envs/pytorch/bin/python
英伟达驱动程序:
OSS Nvidia 驱动程序:550.144.03
NVIDIA CUDA12 .4 堆栈:
CUDA、NCCL 和 cudDN 安装路径:/-12.4/ usr/local/cuda
-
默认 CUDA:12.4
路径/ usr/local/cuda points to /usr/local/cuda -12.4/
-
在环境变量下方更新:
LD_LIBRARY_PATH 要有/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib
拥有路径/usr/local/cuda/bin/:/usr/local/cuda/include/
编译后的系统 NCCL 版本现在/usr/local/cuda/: 2.21.5
PyTorch 从 c PyTorch onda 环境中编译的 NCCL 版本:2.21.5
NCCL 考试地点:
all_reduce、all_gather 和 reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test
-
要运行 NCCL 测试,LD_LIBRARY_PATH 已经更新了所需的路径。
已 PATHs 在 LD_LIBRARY_PATH 中添加了常见内容:
/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib
-
LD_LIBRARY_PATH 已使用 CUDA 版本路径更新
/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib
EFA 安装程序:1.34.0
英伟达 GDRCopy:2.4.1
Nvidia 变形金刚引擎:v1.11 .0
Amazon OFI NCC L:1.11.0-aws
安装路径:/已添加到 LD_L opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/lib IBRARY_PATH。
测试响铃的路径,消息传输:/opt/aws-ofi-nccl/tests
注意: PyTorch 软件包还附带动态链接的 Amazon OFI NCCL 插件作为 conda 软件 aws-ofi-nccl-dlc包, PyTorch 并将使用该软件包代替系统 OFI NCCL。 Amazon
Amazon CLI v2 是 aws2,v1 是 aws Amazon CLI
EBS 卷类型:gp3
Python 版本:3.11
使用 SSM 参数查询 AMI-ID(示例区域为 us-east-1):
OSS 英伟达驱动程序:
aws ssm get-parameter --region
us-east-1
\ --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.5-ubuntu-22.04/latest/ami-id \ --query "Parameter.Value" \ --output text
使用以下方式查询 AMI-ID AWSCLI (示例区域为 us-east-1):
OSS 英伟达驱动程序:
aws ec2 describe-images --region
us-east-1
\ --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \ --output text
版权声明
p5/p5e 实例:
DeviceIndex 对每个都是唯一的 NetworkCard,并且必须是小于 ENIs p NetworkCard er 限制的非负整数。在 P5 上,p ENIs er 的数量 NetworkCard 为 2,这意味着的唯一有效值 DeviceIndex 是 0 或 1。以下是使用 awscli 的 EC2 P5 实例启动命令示例,显示 NetworkCardIndex 从数字 0-31 开始,第一个接口显示 DeviceIndex 为 0,其余 31 个接口显示 DeviceIndex 为 1。
aws ec2 run-instances --region $REGION \ --instance-type $INSTANCETYPE \ --image-id $AMI --key-name $KEYNAME \ --iam-instance-profile "Name=dlami-builder" \ --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \ --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ ... "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa"
内核
使用以下命令固定内核版本:
echo linux-aws hold | sudo dpkg —set-selections echo linux-headers-aws hold | sudo dpkg —set-selections echo linux-image-aws hold | sudo dpkg —set-selections
我们建议用户避免更新其内核版本(除非有安全补丁),以确保与已安装的驱动程序和软件包版本兼容。如果用户仍希望更新,则可以运行以下命令来取消固定其内核版本:
echo linux-aws install | sudo dpkg —set-selections echo linux-headers-aws install | sudo dpkg —set-selections echo linux-image-aws install | sudo dpkg —set-selections apt-get upgrade -y
对于每个新版本的 DLAMI,都使用最新可用的兼容内核。
发布日期:2025-02-17
AMI 名称:深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.5.1 (Ubuntu 22.04) 20250216
已更新
将 NVIDIA 容器工具包从版本 1.17.3 更新到 1.17.4 版
有关更多信息,请参阅此处的发行说明页面:https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.
4 在容器工具包版本 1.17.4 中,现已禁用 CUDA 兼容库的挂载。为了确保与容器工作流程中的多个 CUDA 版本兼容,请确保更新 LD_LIBRARY_PATH 以包含您的 CUDA 兼容性库,如如果您使用 CUDA 兼容层教程中所示。
已删除
删除了 NV IDIA CUDA 工具包提供的用户空间库 cuobj 和 nvd
isasm,以解决在 2025 年 2 月 18 日的 NVIDIA CUDA 工具包安全 公告中 CVEs 出现的问题
发布日期:2025-01-21
AMI 名称:深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.5.1 (Ubuntu 22.04) 20250119
已更新
将Nvidia驱动程序从550.127.05版本升级到550.144.03版本,以解决2025年1月 NVIDIA GPU CVEs
显示驱动程序安全公告中提到的问题。
发布日期:2024-11-21
AMI 名称:深度学习 OSS Nvidia 驱动程序 AMI GPU PyTorch 2.5.1 (Ubuntu 22.04) 20241121
新增了
深度学习 AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 系列的首次发布。包括配备 NVIDIA 驱动程序 R550、CUDA=12.4.1、cuda=8.9.7、NCCL=2.21.5 和 EFA=1.37.0 的 conda 环境。 PyTorch
Fixed
由于 Ubuntu 内核为解决内核地址空间布局随机化 (KASLR) 功能中的缺陷而进行了更改,G4Dn/G5 实例无法在 OSS Nvidia 驱动程序上正确初始化 CUDA。为了缓解此问题,此 DLAMI 包含动态加载 G4Dn 和 G5 实例专有驱动程序的功能。请留出一段短暂的初始化时间进行此加载,以确保您的实例能够正常运行。
要检查此服务的状态和运行状况,可以使用以下命令:
sudo systemctl is-active dynamic_driver_load.service
active