模型并行和大型模型推理 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

模型并行和大型模型推理

用于自然语言处理 (NLP) 等应用的先进深度学习模型非常大,通常具有数百亿或数千亿个参数。较大的模型通常更准确,这使得它们对机器学习从业者更具吸引力。但是,这些模型通常太大,无法适用于单个加速器或 GPU 设备,因此很难实现低延迟推理。您可以通过使用模型并行技术,将模型分区到多个加速器或 GPU 来避免这种内存瓶颈。

Amazon SageMaker 包括专门的深度学习容器 (DLC)、库以及用于模型并行性和大型模型推理 (LMI) 的工具。在以下部分中,您可以找到用于在 SageMaker 上开始使用 LMI 的资源。