SageMaker 模型并行性库的核心功能

Amazon SageMaker 模型并行性库提供了分布策略和节省内存的技术，例如分片数据并行性、张量并行性、按层的模型分区以用于管道调度以及检查点操作。模型并行性策略和技术有助于将大型模型分布在多个设备上，同时优化训练速度和内存使用。该库还提供 Python 帮助程序函数、上下文管理器和封装器函数，用于调整训练脚本以实现模型的自动或手动分区。

对训练作业实施模型并行性时，您仍将保留使用模型并行性运行 SageMaker 分布式训练作业部分中展示的相同两步工作流。对于调整训练脚本，您无需或者仅需在训练脚本中添加几行额外的代码。要启动调整后的训练脚本的训练作业，您需要设置分布配置参数以激活节省内存的功能或者传递用于并行度的值。

要通过示例开始使用，请参阅以下 Jupyter 笔记本，其中演示了如何使用 SageMaker 模型并行性库。

要深入了解库的核心功能，请参阅以下主题。