大型模型推理（LMI）容器文档 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

大型模型推理（LMI）容器文档

Deep Java 库文档网站提供了大型模型推理（LMI）容器文档。

该文档是为需要在 Amazon SageMaker AI 上部署和优化大型语言模型（LLM）的开发人员、数据科学家和机器学习工程师编写的。它可以帮助您使用由 Amazon 提供的 LMI 容器（用于 LLM 推理的专用 Docker 容器）。它提供了概述、部署指南、所支持推理库的用户指南以及高级教程。

通过使用 LMI 容器文档，您可以

  • 了解 LMI 容器的组件和架构

  • 了解如何为您的使用场景选择合适的实例类型和后端

  • 使用 LMI 容器在 SageMaker AI 上配置和部署 LLM

  • 利用量化、张量并行和连续批处理等功能优化性能

  • 对 SageMaker AI 端点进行基准测试和调整，以获得最佳吞吐量和延迟