SageMaker 模型并行度库 v2 的核心功能 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker 模型并行度库 v2 的核心功能

Amazon SageMaker 模型并行库 v2 (SMP v2) 提供了分发策略和节省内存的技术,例如分片数据并行性、张量并行性和检查点。SMP v2 提供的模型并行策略和技术有助于在多个设备上分配大型模型,同时优化训练速度和内存消耗。SMP v2 还提供了 Python 软件包torch.sagemaker,只需修改几行代码即可帮助您调整训练脚本。

本指南遵循中介绍的基本两步流程。开始使用 SageMaker 模型并行度库 v2要深入了解 SMP v2 的核心功能以及如何使用它们,请参阅以下主题。

注意

这些核心功能在 SMP v2.0.0 及更高版本以及 Pyth SageMaker on SDK v2.200.0 及更高版本中可用,适用于 v2.0.1 及更高版本。 PyTorch 要检查软件包的版本,请参阅支持的框架和 Amazon Web Services 区域