支持的实例类型和框架构 - Amazon SageMaker
云实例实例类型Amazon推理Amazon Elastic Inference
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的实例类型和框架构

亚马逊SageMakerNeo 支持流行的深度学习框架进行编译和部署。您可以将模型部署到云实例，Amazon推理实例类型，或者 Amazon Elastic Inference 加速器。

下面介绍了框架SageMakerNeo 支持以及您可以编译和部署到的目标云实例。有关如何将编译后的模型部署到云或 Inferentia 实例的信息，请参阅使用云实例部署模型. 有关如何使用 Elastic Inference 加速器部署编译后的模型的信息，请参阅将 EI 在 Amazon SageMaker 托管终端节点上.

云实例

SageMakerNeo 支持以下适用于 CPU 和 GPU 云实例的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（包装在 *.tar.gz 中） 工具箱
MXNet 1.8.0 支持 1.8.0 或更低版本 图像分类、目标检测、语义分割、姿势估计、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
ONNX 1.7.0 支持 1.7.0 或更低版本 图像分类、SVM 一个模型文件 (.onnx)
Keras 2.2.4 支持 2.2.4 或更低版本 图像分类 一个模型定义文件 (.h5)
PyTorch 1.4、1.5、1.6、1.7 或 1.8 支持 1.4、1.5、1.6、1.7 和 1.8 图像分类 一个模型定义文件（.pt 或 .pth），输入 dtype 为 float32
TensorFlow 1.15.3 或 2.4 支持 1.15.3 和 2.4 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
XGBoost 1.3.3 支持 1.3.3 或更低版本 决策树 其中树的节点数小于 2^31 个 XGBoost 模型文件 (.model)
注意

“模型版本” 是用于训练和导出模型的框架的版本。

实例类型

你可以部署SageMaker已编译模型到下面列出的云实例之一：

实例 计算类型

ml_c4

标准

ml_c5

标准

ml_m4

标准

ml_m5

标准

ml_p2

加速计算

ml_p3

加速计算

ml_g4dn

加速计算

有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅亚马逊SageMaker定价.

注意

在编译时ml_*使用实例PyTorch框架，使用编译器选项字段输出配置提供正确的数据类型 (dtype) 模型的输入。

默认值设置为"float32".

Amazon推理

SageMakerInferentia 支持以下深度学习框架：

框架 框架版本 模型版本 模型 模型格式（包装在 *.tar.gz 中） 工具箱
MXNet 1.5.1 支持 1.5.1 或更低版本 图像分类、目标检测、语义分割、姿势估计、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
PyTorch 1.7.1 支持 1.7.1 或更低版本 图像分类 一个模型定义文件（.pt 或 .pth），输入 dtype 为 float32
TensorFlow 1.15.0 支持 1.15.0 或更低版本 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
注意

“模型版本” 是用于训练和导出模型的框架的版本。

你可以部署SageMakerNEO 编译模型Amazon基于推断的 Amazon EC2 Inf1 实例。AmazonInferentia 是亚马逊首款旨在加速深度学习的定制硅芯片。目前，您可以使用ml_inf1实例来部署编译后的模型。

Amazon Elastic Inference

SageMakerElastic Inference 支持以下深度学习框架：

框架 框架版本 模型版本 模型 模型格式（包装在 *.tar.gz 中）
TensorFlow 2.3.2 支持 2.3 图像分类、目标检测、语义分割、姿势估计、活动识别

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件。

你可以部署SageMaker新编译模型转换为 Elastic Inference 加速器。有关更多信息，请参阅将 EI 在 Amazon SageMaker 托管终端节点上。