模型并行和大型模型推理
用于自然语言处理 (NLP) 等应用的先进深度学习模型非常大,通常具有数百亿或数千亿个参数。较大的模型通常更准确,这使得它们对机器学习从业者更具吸引力。但是,这些模型通常太大,无法适用于单个加速器或 GPU 设备,因此很难实现低延迟推理。您可以通过使用模型并行技术,将模型分区到多个加速器或 GPU 来避免这种内存瓶颈。
Amazon SageMaker 包括专门的深度学习容器 (DLC)、库以及用于模型并行性和大型模型推理 (LMI) 的工具。在以下部分中,您可以找到用于在 SageMaker 上开始使用 LMI 的资源。