本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon 开启 EFA 支持的 vlLM 的 Deep Learning Containers SageMaker
Amazon D@@ eep Learning Containers (DLCs)
扫描此容器中的所有软件组件是否存在安全漏洞，并根据 Amazon 安全最佳实践进行更新或修补。所有可用的列表 Amazon DLCs 可以在我们的 github 存储库
更改日志
可用容器列表可在上找到GitHub
vlLM v0.11.1 及更高版本使用 CUDA 12.9，它仅兼容 Nvidia Driver 535 及更高版本（首选 550）。要在 SageMaker 平台上部署容器，请指定al2-ami-sagemaker-inference-gpu-3-1为ProductionVariant。
安全建议
对这些映像中的所有软件组件进行安全漏洞扫描，并根据 Amazon 安全最佳实践进行更新或修补。
Amazon 建议客户监控安全公告中的关键Amazon 安全
Python 3.12 Support
支持 Python 3.12。
实例类型支持
这些容器支持 x86_64 实例类型。
Amazon 地区支持
这些容器可在以下地区使用：
Region |
代码 |
|---|---|
美国东部（弗吉尼亚州北部） |
us-east-1 |
美国东部（俄亥俄州） |
us-east-2 |
美国西部 (加利福尼亚北部) |
us-west-1 |
美国西部（俄勒冈州） |
us-west-2 |
亚太地区（香港） |
ap-east-1 |
亚太地区（孟买） |
ap-south-1 |
亚太地区（海得拉巴） |
ap-south-2 |
亚太地区（东京） |
ap-northeast-1 |
亚太地区 (首尔) |
ap-northeast-2 |
亚太地区（大阪） |
ap-northeast-3 |
亚太地区（新加坡） |
ap-southeast-1 |
亚太地区（悉尼） |
ap-southeast-2 |
亚太地区（雅加达） |
ap-southeast-3 |
亚太地区（墨尔本） |
ap-southeast-4 |
亚太地区（马来西亚） |
ap-southeast-5 |
亚太地区（泰国） |
ap-southeast-7 |
加拿大（中部） |
ca-central-1 |
加拿大（卡尔加里） |
ca-west-1 |
欧洲（法兰克福） |
eu-central-1 |
欧洲（苏黎世） |
eu-central-2 |
欧洲（爱尔兰） |
eu-west-1 |
欧洲（伦敦） |
eu-west-2 |
欧洲（巴黎） |
eu-west-3 |
欧盟（米兰） |
eu-south-1 |
欧盟（西班牙） |
eu-south-2 |
欧洲（斯德哥尔摩） |
eu-north-1 |
中东（巴林） |
me-south-1 |
中东（阿联酋）： |
me-central-1 |
以色列（特拉维夫） |
il-central-1 |
南非（圣保罗） |
sa-east-1 |
AF South（开普敦） |
af-south-1 |
墨西哥（中部） |
mx-central-1 |
中国（北京） |
cn-north-1 |
中国（宁夏） |
cn-northwest-1 |
构建和测试
建立在：c5.18xlarge
测试在：p4d.24xlarge、p5.48xlarges
使用 deepseek-ai/-DeepSeek R1-Distill-Qwen-32B 模型、单节点和多节点服务配置进行了测试
已知问题
到目前为止尚无已知问题