Amazon Deep Learning Con ARM64 tain PyTorch ers 适用于 2.6 推理 SageMaker - Amazon 深度学习容器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Deep Learning Con ARM64 tain PyTorch ers 适用于 2.6 推理 SageMaker

Amazon 适用于亚马逊 SageMaker 的 D@@ eep Learning Containers (DLCs) 现已适用于 ARM64 平台,包括支持 2.6 的 Amazon Graviton 实例类型。 PyTorch 你可以在上启动新版本的 DLC。 SageMaker

此版本包括一个用于在 CPU 上进行推理的容器镜像,针对性能和扩展进行了 Amazon优化。这个 Docker 镜像已在上面进行了测试。 SageMaker它为在上运行深度学习工作负载提供了优化的用户体验 SageMaker。扫描此镜像中的所有软件组件是否存在安全漏洞,并根据 Amazon 安全最佳实践进行更新或修补。

可用容器列表可以在我们的文档中找到。请参阅 SageMaker Graviton 博客和 DLC 开发者指南,将深度学习工作负载迁移到 Graviton 实例。您也可以订阅我们的讨论论坛以获取发布公告并发布您的问题。

发布说明

  • 引入了 PyTorch 2.6.0 的容器,用于在实例上提供推理支持 SageMaker 服务。 ARM64 有关此版本的详细信息,请查看我们的 GitHub 发布标签

  • 从 PyTorch 2.6 开始,我们将从 PyPI 中删除 Conda DLCs 并安装所有 Python 软件包。

  • TorchServe 版本:0.12.0

  • 有关框架更新的完整说明,请参阅此处的 PyTorch 2.6.0 官方发行说明。

性能改进

它们 DLCs 继续在Graviton上为BERT和Ro BERTa 情绪分析以及填充掩模模型提供最佳性能,使Graviton3成为这些模型在云端最具成本效益的CPU平台。 Amazon 欲了解更多信息,请参阅 Graviton PyTorch 用户指南

安全建议

Amazon 建议客户监控安全公告中的关键Amazon 安全更新。

Python 3.12 Support

PyTorch ARM64 推理容器支持 Python 3.12。

CPU 实例类型支持

这些容器支持下支持的 Graviton CPU 实例类型。 SageMaker

Amazon 地区支持

这些容器可在以下地区使用:

区域

代码

美国东部(俄亥俄州)

us-east-2

美国东部(弗吉尼亚州北部)

us-east-1

美国西部(俄勒冈州)

us-west-2

美国西部(加利福尼亚北部)

us-west-1

AF South(开普敦)

af-south-1

亚太地区(香港)

ap-east-1

亚太地区(海得拉巴)

ap-south-2

亚太地区(孟买)

ap-south-1

亚太地区(大阪)

ap-northeast-3

亚太地区(首尔)

ap-northeast-2

亚太地区(东京)

ap-northeast-1

亚太地区(墨尔本)

ap-southeast-4

亚太地区(雅加达)

ap-southeast-3

亚太地区(悉尼)

ap-southeast-2

亚太地区(新加坡)

ap-southeast-1

亚太地区(马来西亚)

ap-southeast-5

加拿大(中部)

ca-central-1

加拿大(卡尔加里)

ca-west-1

欧洲(苏黎世)

eu-central-2

欧洲(法兰克福)

eu-central-1

欧洲(爱尔兰)

eu-west-1

欧洲(伦敦)

eu-west-2

欧盟(巴黎)

eu-west-3

欧盟(西班牙)

eu-south-2

欧盟(米兰)

eu-south-1

欧洲(斯德哥尔摩)

eu-north-1

以色列(特拉维夫)

il-central-1

中东(巴林)

me-south-1

中东(阿联酋)

me-central-1

南非(圣保罗)

sa-east-1

中国(北京)

cn-north-1

中国(宁夏)

cn-northwest-1

构建和测试

  • 建立在:c6g.2xlarge

  • 经过测试:c8g.4xlarge、t4g.2xlarge、r8g.2xlarge、m7g.4xlarge、g5g.4xlarge、g5g.4xlarge

已知问题

有关最新更新,请参阅 aws/ 存储deep-learning-containers GitHub 库