本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
在训练脚本中使用 SMDDP 库 PyTorch
从 SageMaker 分布式数据并行度 (SMDDP) 库 v1.4.0 开始，您可以将该库用作分布式软件包的后端选项。PyTorch AllReduce 和AllGather集合操作，您只需要在训练脚本的开头导入 SMDDP 库，并在进程组初始化期间将 SMDDP 设置为 PyTorch 分布式模块的后端即可。使用单行后端规范，您可以保持所有原生 PyTorch 分布式模块和整个训练脚本不变。以下代码片段展示了如何使用 SMDDP 库作为 PyTorch基于分布式训练包的后端：分布式PyTorch 数据并行 (DDP)、PyTorch 完全分片数据并行
适用于 PyTorch DDP 或 FSDP
按如下方式初始化进程组。
import torch.distributed as dist import smdistributed.dataparallel.torch.torch_smddp dist.init_process_group(backend="smddp")
注意
（仅适用于 PyTorch DDP 作业）smddp后端目前不支持使用 API 创建子流程组。torch.distributed.new_group()您也不能将smddp后端与其他进程组后端（例如NCCL和）同时使用。Gloo
对于我们的 DeepSpeed 威震天-DeepSpeed
按如下方式初始化进程组。
import deepspeed import smdistributed.dataparallel.torch.torch_smddp deepspeed.init_distributed(dist_backend="smddp")
注意
要在中使用mpirun基于启动器（smdistributed和pytorchddp）的 SMDDP AllGather第 2 步：使用 SageMaker Python 软件开发工具包启动分布式训练作业，还需要在训练脚本中设置以下环境变量。
export SMDATAPARALLEL_OPTIMIZE_SDP=true
有关编写 PyTorch FSDP 训练脚本的一般指导，请参阅文档中的使用完全分片数据并行 (FSDP) 进行高级模型训练
有关编写 PyTorch DDP 训练脚本的一般指导，请参阅 PyTorch 文档中的分布式并行数据入门
调整完训练脚本后，继续到 第 2 步：使用 SageMaker Python 软件开发工具包启动分布式训练作业。