SageMaker 模型并行度库的发行说明

修复了在使用 SMP Transformer 时未在向前传递标签时导致对数形状不正确的错误。

增加了对 PyTorch v2.3.1 的支持。

增加了对 Python v3.11 的支持。

增加了对 Hugging Face 变形金刚库 v4.40.1 的支持。

已停止支持 Python v3.10。

v4.40.1 之前的 Hugging Face Transformers 库版本已停止支持。

包括一个补丁，用于切换在不同等级上保存已消除重复的张量。要了解更多信息，请参阅 PyTorch GitHub 存储库中的讨论话题。

存在一个已知问题，即在使用张量并行度微调 Llama-3 70B 时，损失可能会激增，然后恢复到更高的损失值。

已将 SMDDP 库升级到 v2.3.0。

已将 NCCL 库升级到 v2.21.5。

已将 EFA 软件升级到 v1.32.0。

已停止安装 T orch 分布式实验 (TorchDistX) 库。

适用于 PyTorch v2.3.1 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

预安装的软件包

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

ImportError修复了使用 moe_load_balancing=balanced in torch.sagemaker.moe.moe_config.MoEConfig 进行专家并行处理时出现的问题。

修复了启用KeyError时load_state_dict_from_rank0会引发torch.sagemaker.transform呼叫的微调问题。

修复了加载大型专家混合 out-of-memory (MoE) 模型（例如 Mixtral 8x22b）进行微调时出现的（OOM）错误。

适用于 PyTorch v2.2.0 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

添加了一项新的核心功能 “专家并行性”，以支持 “专家混合” 变压器模型。要了解更多信息，请参阅专家平行性。

适用于 PyTorch v2.2.0 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

在集成了变形引擎的 P5 实例上增加了对以下 Hugging Face 变压器模型的 FP8 训练的支持：

修复了在张量并行训练期间无法保证张量在AllGather集体调用之前连续的错误。

增加了对 PyTorch v2.2.0 的支持。

已将 SMDDP 库升级到 v2.2.0。

已将 FlashAttention 库升级到 v2.3.3。

已将 NCCL 库升级到 v2.19.4。

v1.2.0 之前的变形金刚引擎版本已停止支持。

SMP 激活分载 功能目前不起作用。改用本机 PyTorch 激活卸载。

包括一个补丁，用于修复 PyTorch GitHub 存储库中问题话题 https://github.com/pytorch/pytorch/issues/117748 中讨论的性能下降问题。

适用于 PyTorch v2.2.0 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

增加了对 PyTorch v2.1.2 的支持。

已停止支持 Hugging Face Transformers v4.31.0。

发现了一个问题，即使用attn_implementation=flash_attention_2和 FSDP 对 Hugging Face Llama 2 模型进行微调会导致模型出现分歧。有关参考，请参阅 Hugging Face Transformers 存储库中的问题单 GitHub 。为避免分歧问题，请使用attn_implementation=sdpa。或者，通过设置use_smp_implementation=True使用 SMP 变压器模型实现。

适用于 PyTorch v2.1.2 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

一个新torch.sagemaker软件包，在 SMP v1.x 中对之前的smdistributed.modelparallel.torch软件包进行了全面改进。

支持 PyTorch 2.0.1。

对 PyTorch FSDP 的支持。

通过与 Transformer Engine 库集成实现张量并行性。

Support 支持SageMaker 培训和 SageMaker HyperPod.

SMP v2 对 API 进行了全面改进，并提供了软件包。torch.sagemaker大多数情况下，您只需要使用torch.sagemaker.init()模块进行初始化并传递模型并行配置参数即可。使用这个新软件包，您可以显著简化训练脚本中的代码修改。要了解有关调整训练脚本以使用 SMP v2 的更多信息，请参阅。开始使用 SageMaker 模型并行度库 v2

如果你使用 SMP v1 来训练 Hugging Face Transformer 模型，并且想在 SMP v2 中重复使用这些模型，请参阅。从 SMP v1 升级到 SMP v2

对于 PyTorch FSDP 训练，你应该使用 SMP v2。

激活检查点功能目前仅适用于FSDP的以下包装策略。

要使用激活分载，FSDP 激活检查点类型必须为 REENTRANT。

在启用 tensor parallel 且分片数据并行度设置为的情况下运行时1，必须使用。backend = nccl在这种情况下，不支持smddp后端选项。

即使不使用张量并行度，也需要将 Transformer E@@ ngin e PyTorch 与 SMP 库一起使用。

从此版本开始， SageMaker 模型并行度库的文档将在本 A mazon SageMaker 开发者指南中完整提供。为了支持亚马逊开发者指南中针对 SMP v2 的完整 SageMaker 开发者指南，P SageMaker ython SDK 文档中对 SMP v1.x 的额外参考已被弃用。如果你还需要 SMP v1.x 的文档，可以在 Python SDK v2.199.0 文档中找到 SMP v1.x 的开发者指南，（已存档） SageMaker 模型并行度库 v1.xSMP Python 库 v1.x 参考可在 Python SDK v2.199.0 文档中找到。SageMaker

已停止支持 TensorFlow。

SMP v2 中不支持流水线并行性。

该 DeepSpeed 库不支持原生 PyTorch FSDP。

适用于 PyTorch v2.0.1 的 SMP Docker 容器，带有 CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121