Amazon 支持 EFA 的 vlLM 的 Deep Learning Containers - Amazon 深度学习容器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 支持 EFA 的 vlLM 的 Deep Learning Containers

Amazon D@@ eep Learning Containers (DLCs) 现在支持针对大型语言模型服务进行优化的 vlLM 图像。

vLLM DLC 提供了一个可用于部署和服务的生产就绪环境,内置对 EFA( LLMs 弹性结构适配器)的支持。这款专用容器预先配置了 vLLM 的高级功能和优化,为从单节点到多节点部署的各种用例提供高性能、可扩展和高效的 LLM 服务提供了理想的起点。有关如何使用 vLLM 的指南,请查看 vLLM 文档。

使用我们开发者指南中的入门部分,快速开始使用 Dee Amazon p Learning Containers。

如果您正在寻找可搭配使用的 DLC SageMaker,请参阅此文档

为确保您使用的是最新版本的 DLC,我们邀请您订阅我们的 DLC 通知机制

更改日志

要了解 vlLM DLC 的最新变化,请查看更新日志。

可用容器列表可在上找到GitHub

安全建议

对这些映像中的所有软件组件进行安全漏洞扫描,并根据 Amazon 安全最佳实践进行更新或修补。

Amazon 建议客户监控安全公告中的关键Amazon 安全更新。

Amazon 地区支持

这些容器可在以下地区使用:

区域

代码

美国东部(弗吉尼亚州北部)

us-east-1

美国东部(俄亥俄州)

us-east-2

美国西部 (加利福尼亚北部)

us-west-1

美国西部(俄勒冈州)

us-west-2

亚太地区(香港)

ap-east-1

亚太地区(孟买)

ap-south-1

亚太地区(海得拉巴)

ap-south-2

亚太地区(东京)

ap-northeast-1

亚太地区 (首尔)

ap-northeast-2

亚太地区(大阪)

ap-northeast-3

亚太地区(新加坡)

ap-southeast-1

亚太地区(悉尼)

ap-southeast-2

亚太地区(雅加达)

ap-southeast-3

亚太地区(墨尔本)

ap-southeast-4

亚太地区(马来西亚)

ap-southeast-5

亚太地区(泰国)

ap-southeast-7

加拿大(中部)

ca-central-1

加拿大(卡尔加里)

ca-west-1

欧洲(法兰克福)

eu-central-1

欧洲(苏黎世)

eu-central-2

欧洲(爱尔兰)

eu-west-1

欧洲(伦敦)

eu-west-2

欧盟(巴黎)

eu-west-3

欧盟(米兰)

eu-south-1

欧盟(西班牙)

eu-south-2

欧洲(斯德哥尔摩)

eu-north-1

中东(巴林)

me-south-1

中东(阿联酋)

me-central-1

以色列(特拉维夫)

il-central-1

南非(圣保罗)

sa-east-1

AF South(开普敦)

af-south-1

墨西哥(中部)

mx-central-1

中国(北京)

cn-north-1

中国(宁夏)

cn-northwest-1