本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# SageMaker 模型并行度库 v2 的核心功能
<a name="model-parallel-core-features-v2"></a>

Amazon SageMaker AI 模型并行库 v2 (SMP v2) 提供了分发策略和节省内存的技术，例如分片数据并行性、张量并行性和检查点。SMP v2 提供的模型并行性策略和技术有助于将大型模型分布在多个设备上，同时优化训练速度和内存使用。SMP v2 还提供了一个 Python 软件包 `torch.sagemaker`，只需修改几行代码就能帮助您调整训练脚本。

本指南遵循 [使用 SageMaker 模型并行度库 v2](model-parallel-use-api-v2.md) 中介绍的两步基本流。要深入了解 SMP v2 的核心功能以及如何使用这些功能，请参阅以下主题。

**注意**  
这些核心功能在 SMP v2.0.0 及更高版本以及 Pyth SageMaker on SDK v2.200.0 及更高版本中可用，适用于 v2.0.1 及更高版本。 PyTorch 要检查软件包的版本，请参阅 [支持的框架和 Amazon Web Services 区域](distributed-model-parallel-support-v2.md)。

**Topics**
+ [混合分片数据并行性](model-parallel-core-features-v2-sharded-data-parallelism.md)
+ [专家并行性](model-parallel-core-features-v2-expert-parallelism.md)
+ [上下文并行性](model-parallel-core-features-v2-context-parallelism.md)
+ [与针对基础架构进行了优化的 SMDDP 库的兼容性 Amazon](model-parallel-core-features-v2-smddp-allgather.md)
+ [混合精度训练](model-parallel-core-features-v2-mixed-precision.md)
+ [延迟参数初始化](model-parallel-core-features-v2-delayed-param-init.md)
+ [激活检查点](model-parallel-core-features-v2-pytorch-activation-checkpointing.md)
+ [激活分载](model-parallel-core-features-v2-pytorch-activation-offloading.md)
+ [张量并行性](model-parallel-core-features-v2-tensor-parallelism.md)
+ [微调](model-parallel-core-features-v2-fine-tuning.md)
+ [FlashAttention](model-parallel-core-features-v2-flashattention.md)
+ [使用 SMP 的检查点](model-parallel-core-features-v2-checkpoints.md)