Amazon 开启 EFA 支持的 Deep SGLang Learning Containers SageMaker - Amazon 深度学习容器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 开启 EFA 支持的 Deep SGLang Learning Containers SageMaker

Amazon D@@ eep Learning Containers (DLCs) 现在支持针对在亚马逊上投放的大型语言模型进行了优化的 SGLang 图像 SageMaker。该 SGLang DLC提供了一个可用于部署和服务的生产就绪环境,并 LLMs 具有高级功能,例如 RadixAttention 高效的KV缓存重用和优化的批量调度。这款专用容器预先配置了高级功能和优化,为高性能、可扩展和高效的 LLM 服务提供了理想的起点。 SGLang SageMaker

扫描此容器中的所有软件组件是否存在安全漏洞,并根据 Amazon 安全最佳实践进行更新或修补。所有可用的列表 Amazon DLCs 可以在我们的 github 存储库中找到。 Amazon DLCs 使用我们的开发者指南中的入门部分,快速入门。为确保您使用的是最新版本的 DLC,我们邀请您订阅我们的 DLC 通知机制。有关如何使用 SGLang DLC 的指南 SageMaker,请查看教程。有关如何使用的指南 SGLang,请查看SGLang 文档

更改日志

要了解 SGLang DLC 的最新变化,请查看更新日志

可用容器列表可在上找到GitHub

SGLang v0.5.5 及更高版本使用 CUDA 12.9,它仅与 Nvidia Driver 535 及更高版本兼容(首选 550)。要在 SageMaker 平台上部署容器,请指定al2-ami-sagemaker-inference-gpu-3-1ProductionVariant

安全建议

对这些映像中的所有软件组件进行安全漏洞扫描,并根据 Amazon 安全最佳实践进行更新或修补。

Amazon 建议客户监控安全公告中的关键Amazon 安全更新。

Python 3.12 Support

支持 Python 3.12。

实例类型支持

这些容器支持 x86_64 实例类型。

Amazon 地区支持

这些容器可在以下地区使用:

Region

代码

美国东部(弗吉尼亚州北部)

us-east-1

美国东部(俄亥俄州)

us-east-2

美国西部 (加利福尼亚北部)

us-west-1

美国西部(俄勒冈州)

us-west-2

亚太地区(香港)

ap-east-1

亚太地区(孟买)

ap-south-1

亚太地区(海得拉巴)

ap-south-2

亚太地区(东京)

ap-northeast-1

亚太地区 (首尔)

ap-northeast-2

亚太地区(大阪)

ap-northeast-3

亚太地区(新加坡)

ap-southeast-1

亚太地区(悉尼)

ap-southeast-2

亚太地区(雅加达)

ap-southeast-3

亚太地区(墨尔本)

ap-southeast-4

亚太地区(马来西亚)

ap-southeast-5

亚太地区(泰国)

ap-southeast-7

加拿大(中部)

ca-central-1

加拿大(卡尔加里)

ca-west-1

欧洲(法兰克福)

eu-central-1

欧洲(苏黎世)

eu-central-2

欧洲(爱尔兰)

eu-west-1

欧洲(伦敦)

eu-west-2

欧洲(巴黎)

eu-west-3

欧盟(米兰)

eu-south-1

欧盟(西班牙)

eu-south-2

欧洲(斯德哥尔摩)

eu-north-1

中东(巴林)

me-south-1

中东(阿联酋):

me-central-1

以色列(特拉维夫)

il-central-1

南非(圣保罗)

sa-east-1

AF South(开普敦)

af-south-1

墨西哥(中部)

mx-central-1

中国(北京)

cn-north-1

中国(宁夏)

cn-northwest-1

构建和测试

  • 建立在:c5.18xlarge

  • 测试在:p4d.24xlarge、p5.48xlarge

  • 已使用 Qwen/Qwen3-0.6B 模型、单节点和多节点服务配置进行了测试

已知问题

到目前为止尚无已知问题