支持的实例类型和框架 - Amazon SageMaker
云实例实例类型AmazonInferentiaAmazon Elastic Inference
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的实例类型和框架

Amazon SageMaker Neo 支持用于编译和部署的流行深度学习框架。您可以将模型部署到云实例，Amazon推理实例类型或 Amazon Elastic Inference 加速器。

下面介绍了 SageMaker Neo 支持的框架以及您可以编译和部署到的目标云实例。有关如何将已编译的模型部署到云或推理实例的信息，请参阅通过云实例部署模型. 有关如何使用 Elastic Inference 加速器部署已编译模型的信息，请参阅在 Amazon SageMaker 托管终端节点上使用 EI.

云实例

SageMaker Neo 支持 CPU 和 GPU 云实例的以下深度学习框架：

框架 框架版本 模型版本 模型 模型格式（采用 *.tar.gz 打包） Toolkit kit kit of
MXNet 1.8.0 支持 1.8.0 或更早版本 图像分类、目标检测、语义分割、姿势估计、活动识别 一个符号文件 (.jams) 和一个参数文件 (.params) GluONCV V0.8.0
ONNX 1.7.0 支持 1.7.0 或更早版本 映像分类，SVM 一个模型文件 (.onnx)
Keras 2.2.4 支持 2.2.4 或更早版本 图像分类 一个模型定义文件 (.h5)
PyTorch 1.6 支持 1.4，1.5 和 1.6 图像分类 一个输入 dtype 为浮点 32 的模型定义文件（.pt 或 .pth）
TensorFlow 1.15.0 支持 1.15.0 或更早版本 图像分类

对于保存的模型，可以使用一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只有一个 .pb 或一个 .pbtxt 文件
XGBoost 1.2.1 支持 1.2.1 或更早版本 决策树 一个 XGBoost 模型文件 (.model)，其中树的节点数小于 2^31 个
注意

“模型版本” 是用于训练和导出模型的框架版本。

实例类型

您可以将 SageMaker 编译的模型部署到下面列出的其中一个云实例：

实例 计算类型

ml_c4

标准

ml_c5

标准

ml_m4

标准

ml_m5

标准

ml_p2

加速计算

ml_p3

加速计算

ml_g4dn

加速计算

有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅Amazon SageMaker 定价.

注意

在编译ml_*实例使用 PyTorch 框架，请使用编译器选项中的字段输出配置来提供正确的数据类型（dtype）的模型输入。

默认值设置为"float32".

AmazonInferentia

SageMaker Neo 支持以下针对推理的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（采用 *.tar.gz 打包） Toolkit kit kit of
MXNet 1.5.1 支持 1.5.1 或更早版本 图像分类、目标检测、语义分割、姿势估计、活动识别 一个符号文件 (.jams) 和一个参数文件 (.params) GluONCV V0.8.0
PyTorch 1.7.1 支持 1.7.1 或更早版本 图像分类 一个输入 dtype 为浮点 32 的模型定义文件（.pt 或 .pth）
TensorFlow 1.15.0 支持 1.15.0 或更早版本 图像分类

对于保存的模型，可以使用一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只有一个 .pb 或一个 .pbtxt 文件
注意

“模型版本” 是用于训练和导出模型的框架版本。

您可以将 SageMaker 新编译的模型部署到Amazon基于推理的 Amazon EC2 Inf1 实例。Amazon推理是亚马逊首款专为加速深度学习而设计的定制硅芯片。目前，您可以使用ml_inf1实例来部署已编译的模型。

Amazon Elastic Inference

SageMaker Neo 支持以下针对 Elastic Inference 的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（采用 *.tar.gz 打包）
TensorFlow 2.3.2 支持 2.3 图像分类、目标检测、语义分割、姿势估计、活动识别

对于保存的模型，可以使用一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，仅需要一个 .pb 或一个 .pbtxt 文件。

您可以将 SageMaker Neo 编译的模型部署到 Elastic Inference 加速器。有关更多信息，请参阅在 Amazon SageMaker 托管终端节点上使用 EI。