本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon 支持 EFA 的 vlLM 的 Deep Learning Containers
Amazon D@@ eep Learning Containers (DLCs)
vLLM DLC 提供了一个可用于部署和服务的生产就绪环境,内置对 EFA( LLMs 弹性结构适配器)的支持。这款专用容器预先配置了 vLLM 的高级功能和优化,为从单节点到多节点部署的各种用例提供高性能、可扩展和高效的 LLM 服务提供了理想的起点。有关如何使用 vLLM 的指南,请查看 vLLM 文档。
使用我们开发者指南中的入门部分,快速开始使用 Dee Amazon p Learning Containers。
如果您正在寻找可搭配使用的 DLC SageMaker,请参阅此文档
为确保您使用的是最新版本的 DLC,我们邀请您订阅我们的 DLC 通知机制。
更改日志
可用容器列表可在上找到GitHub
安全建议
对这些映像中的所有软件组件进行安全漏洞扫描,并根据 Amazon 安全最佳实践进行更新或修补。
Amazon 建议客户监控安全公告中的关键Amazon 安全
Amazon 地区支持
这些容器可在以下地区使用:
区域 |
代码 |
---|---|
美国东部(弗吉尼亚州北部) |
us-east-1 |
美国东部(俄亥俄州) |
us-east-2 |
美国西部 (加利福尼亚北部) |
us-west-1 |
美国西部(俄勒冈州) |
us-west-2 |
亚太地区(香港) |
ap-east-1 |
亚太地区(孟买) |
ap-south-1 |
亚太地区(海得拉巴) |
ap-south-2 |
亚太地区(东京) |
ap-northeast-1 |
亚太地区 (首尔) |
ap-northeast-2 |
亚太地区(大阪) |
ap-northeast-3 |
亚太地区(新加坡) |
ap-southeast-1 |
亚太地区(悉尼) |
ap-southeast-2 |
亚太地区(雅加达) |
ap-southeast-3 |
亚太地区(墨尔本) |
ap-southeast-4 |
亚太地区(马来西亚) |
ap-southeast-5 |
亚太地区(泰国) |
ap-southeast-7 |
加拿大(中部) |
ca-central-1 |
加拿大(卡尔加里) |
ca-west-1 |
欧洲(法兰克福) |
eu-central-1 |
欧洲(苏黎世) |
eu-central-2 |
欧洲(爱尔兰) |
eu-west-1 |
欧洲(伦敦) |
eu-west-2 |
欧盟(巴黎) |
eu-west-3 |
欧盟(米兰) |
eu-south-1 |
欧盟(西班牙) |
eu-south-2 |
欧洲(斯德哥尔摩) |
eu-north-1 |
中东(巴林) |
me-south-1 |
中东(阿联酋) |
me-central-1 |
以色列(特拉维夫) |
il-central-1 |
南非(圣保罗) |
sa-east-1 |
AF South(开普敦) |
af-south-1 |
墨西哥(中部) |
mx-central-1 |
中国(北京) |
cn-north-1 |
中国(宁夏) |
cn-northwest-1 |