支持的实例类型和框架 - Amazon SageMaker
云实例实例类型Amazon 推论Amazon Elastic Inference
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的实例类型和框架

Amazon SageMaker Neo 支持用于编译和部署的流行深度学习框架。您可以将模型部署到云实例、 Amazon Inferentia 实例类型或 Amazon Elastic Inference 加速器。

下面介绍了 SageMaker Neo 支持的框架以及您可以编译和部署到的目标云实例。有关如何将编译后的模型部署到云实例或 Inferentia 实例的信息，请参阅使用云实例部署模型。有关如何使用 Elastic Inference 加速器部署编译后的模型的信息，请参阅在亚马逊 SageMaker 托管的终端节点上使用 EI。

云实例

SageMaker Neo 支持以下适用于 CPU 和 GPU 云实例的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.8.0 支持 1.8.0 或更早版本 图像分类、对象检测、语义分割、姿态估算、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
ONNX 1.7.0 支持 1.7.0 或更早版本 图像分类、SVM 一个模型文件 (.onnx)
Keras 2.2.4 支持 2.2.4 或更早版本 图像分类 一个模型定义文件 (.h5)
PyTorch 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 支持 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0

图像分类

版本 1.13 和 2.0 支持物体检测、视觉转换器和 HuggingFace

 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32
TensorFlow 1.15.3 或 2.9 支持 1.15.3 和 2.9。 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
XGBoost 1.3.3 支持 1.3.3 或更早版本 决策树 一个 XGBoost 模型文件 (.model)，其中树的节点数小于 2^31
注意

“模型版本”是用于训练和导出模型的框架版本。

实例类型

您可以将 SageMaker 编译后的模型部署到下面列出的云实例之一：

实例 计算类型

ml_c4

Standard

ml_c5

Standard

ml_m4

Standard

ml_m5

Standard

ml_p2

加速计算型

ml_p3

加速计算型

ml_g4dn

加速计算型

有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅 A ma SageMaker zon 定价。

注意

使用 PyTorch 框架编译ml_*实例时，请使用输出配置中的编译器选项字段提供模型输入的正确数据类型 (dtype)。

默认被设置为 "float32"。

Amazon 推论

SageMaker Neo 支持以下适用于 Inf1 的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.5 或 1.8 支持 1.8、1.5 及更早版本 图像分类、对象检测、语义分割、姿态估算、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
PyTorch 1.7、1.8 或 1.9 支持 1.9 及更早版本 图像分类 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32
TensorFlow 1.15 或 2.5 支持 2.5、1.15 及更早版本 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
注意

“模型版本”是用于训练和导出模型的框架版本。

您可以将 SageMaker 新编译的模型部署到 Amazon 基于推理的 Amazon EC2 Inf1 实例。 Amazon Inferentia是亚马逊首款专为加速深度学习而设计的定制硅芯片。目前，您可以使用 ml_inf1 实例来部署已编译的模型。

Amazon Inferentia2 和 Trainium Amazon

目前，您可以将您的 SageMaker Neo 编译模型部署到 Amazon 基于 Inferentia2 的 Amazon EC2 Inf2 实例（位于美国东部（俄亥俄州）区域）和基于 Amazon Trainium 的 Amazon EC2 Trn1 实例（位于美国东部（弗吉尼亚北部）区域）。有关这些实例上支持的模型的更多信息，请参阅 Ne Amazon uron 文档中的模型架构拟合指南以及 Neuron Github 存储库中的示例。

Amazon Elastic Inference

SageMaker Neo 支持以下适用于 Elastic Inference 的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz）
TensorFlow 2.3.2 支持 2.3 图像分类、对象检测、语义分割、姿态估算、活动识别

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件。

您可以将新 SageMaker 编译的模型部署到 Elastic Inference 加速器。有关更多信息，请参阅 在亚马逊 SageMaker 托管的终端节点上使用 EI。