大型模型推理 (LMI) 容器文档 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

大型模型推理 (LMI) 容器文档

大型模型推理 (LMI) 容器文档在 Deep Java Library 文档网站上提供。

本文档专为需要在 Amazon SageMaker 上部署和优化大型语言模型 (LLM) 的开发人员、数据科学家和机器学习工程师编写。它可以帮助您使用 LMI 容器，这些容器是专门用于 LLM 推断的 Docker 容器，由提供。 Amazon它提供了概述、部署指南、支持的推理库的用户指南和高级教程。

通过使用 LMI 容器文档，您可以：

  • 了解 LMI 容器的组件和架构

  • 了解如何为您的用例选择合适的实例类型和后端

  • SageMaker 使用 LMI 容器配置和部署 LLM

  • 使用量化、张量并行和连续批处理等功能优化性能

  • 对您的 SageMaker 端点进行基准测试和调整，以实现最佳吞吐量和延迟