Amazon 适用于 vlLM 的 Deep Learning Conta ARM64 iners 开启 EFA 支持 EC2、ECS 和 EKS - Amazon 深度学习容器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 适用于 vlLM 的 Deep Learning Conta ARM64 iners 开启 EFA 支持 EC2、ECS 和 EKS

Amazon D@@ eep Learning Containers (DLCs) 现在支持针对大型语言模型服务进行优化的 vlLM 图像。vLLM DLC 提供了一个可用于部署和服务的生产就绪环境,内置对 EFA( LLMs 弹性结构适配器)的支持。这款专用容器预先配置了 vLLM 的高级功能和优化,为从单节点到多节点部署的各种用例提供高性能、可扩展和高效的 LLM 服务提供了理想的起点。

扫描此容器中的所有软件组件是否存在安全漏洞,并根据 Amazon 安全最佳实践进行更新或修补。所有可用的列表 Amazon DLCs 可以在我们的 github 存储库中找到。 Amazon DLCs 使用我们的开发者指南中的入门部分,快速入门。为确保您使用的是最新版本的 DLC,我们邀请您订阅我们的 DLC 通知机制。如果您正在寻找可搭配使用的 DLC SageMaker,请参阅此文档有关如何使用 vLLM 的指南,请查看 vLLM 文档。

更改日志

要了解 vlLM DLC 的最新变化,请查看更新日志。

可用容器列表可在上找到GitHub

安全建议

Amazon 建议客户监控安全公告中的关键Amazon 安全更新。

Python 3.12 Support

支持 Python 3.12。

实例类型支持

容器支持 ARM64 实例类型。

Amazon 地区支持

这些容器可在以下地区使用:

Region

代码

美国东部(弗吉尼亚州北部)

us-east-1

美国东部(俄亥俄州)

us-east-2

美国西部 (加利福尼亚北部)

us-west-1

美国西部(俄勒冈州)

us-west-2

亚太地区(香港)

ap-east-1

亚太地区(孟买)

ap-south-1

亚太地区(海得拉巴)

ap-south-2

亚太地区(东京)

ap-northeast-1

亚太地区 (首尔)

ap-northeast-2

亚太地区(大阪)

ap-northeast-3

亚太地区(新加坡)

ap-southeast-1

亚太地区(悉尼)

ap-southeast-2

亚太地区(雅加达)

ap-southeast-3

亚太地区(墨尔本)

ap-southeast-4

亚太地区(马来西亚)

ap-southeast-5

亚太地区(泰国)

ap-southeast-7

加拿大(中部)

ca-central-1

加拿大(卡尔加里)

ca-west-1

欧洲(法兰克福)

eu-central-1

欧洲(苏黎世)

eu-central-2

欧洲(爱尔兰)

eu-west-1

欧洲(伦敦)

eu-west-2

欧洲(巴黎)

eu-west-3

欧盟(米兰)

eu-south-1

欧盟(西班牙)

eu-south-2

欧洲(斯德哥尔摩)

eu-north-1

中东(巴林)

me-south-1

中东(阿联酋):

me-central-1

以色列(特拉维夫)

il-central-1

南非(圣保罗)

sa-east-1

AF South(开普敦)

af-south-1

墨西哥(中部)

mx-central-1

中国(北京)

cn-north-1

中国(宁夏)

cn-northwest-1

构建和测试

  • 建立在:c6g.12xlarge

  • 已测试:g5g.16xlarge

  • 使用 deepseek-ai/-DeepSeek R1-Distill-Qwen-32B 模型、单节点和多节点服务配置进行了测试

已知问题

到目前为止尚无已知问题