支持的实例类型和框架 - Amazon SageMaker
云实例实例类型AWS InferentiaAmazon Elastic Inference
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的实例类型和框架

Amazon SageMaker Neo 支持使用流行的深度学习框架进行编译和部署。您可以将模型部署到云实例、AWS Inferentia 实例类型或 Amazon Elastic Inference 加速器。

下面介绍了 SageMaker Neo 支持的框架以及您可编译和部署到的目标云实例。有关如何将已编译的模型部署到云或 Inferentia 实例的信息，请参阅使用云实例https://docs.amazonaws.cn/sagemaker/latest/dg/neo-deployment-hosting-services.html部署模型。有关如何使用 Elastic Inference 加速器部署已编译模型的信息，请参阅。

云实例

SageMaker Neo 支持 CPU 和 GPU 云实例的以下深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.7.0 支持 1.7.0 或更早版本 图像分类、对象检测、语义分割、姿势评估、活动识别 一个符号文件 （.json） 和一个参数文件 （.params） GluonCV v0
ONNX 1.5.0 支持 1.5.0 或更早版本 图像分类，SVM 一个模型文件 （.onnx）
Keras 2.2.4 支持 2.2.4 或更早版本 图像分类 一个模型定义文件 （h5）
PyTorch 1.6 支持 1.4、1.5 和 1.6 图像分类 一个输入类型为 float32 的模型定义文件（.pt 或 .pth）
TensorFlow 1.15.0 支持 1.15.0 或更早版本 图像分类

对于保存的模型，一个 .pb 或一个 .pbtxt 文件，以及一个包含变量的变量目录

对于冻结模型，仅一个 .pb 或 .pbtxt 文件
TensorFlow-Lite 1.13.1 支持 1.13.1 或更早版本 图像分类、对象检测 一个模型定义平面缓冲区文件 （.tflite）
XGBoost 0.9 支持 0.9 或更早版本 决策树 一个 XGBoost 模型文件（.model），其中树中的节点数小于 2^31
黑网 图像分类、对象检测 一个配置 （.cfg） 文件和一个权重 （.weights） 文件
注意

“模型版本”是用于训练和导出模型的框架版本。

实例类型

您可以将SageMaker已编译的模型部署到下面列出的云实例之一：

实例 计算类型

ml_c4

标准

ml_c5

标准

ml_m4

标准

ml_m5

标准

ml_p2

加速计算

ml_p3

加速计算

ml_g4dn

加速计算

有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅 Amazon SageMaker 定价。

注意

在使用 PyTorch 框架编译ml_*实例时，请使用 Output Configuration 中的 Compiler options 字段来提供模型输入的正确数据类型 （dtype）。

默认设置为 "float32"。

AWS Inferentia

SageMaker Neo 支持 Inferentia 的以下深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.5.1 支持 1.5.1 或更早版本 图像分类、对象检测、语义分割、姿势评估、活动识别 一个符号文件 （.json） 和一个参数文件 （.params） GluonCV v0
PyTorch 1.5.1 支持 1.5.1 或更早版本 图像分类 一个输入类型为 float32 的模型定义文件（.pt 或 .pth）
TensorFlow 1.15.0 支持 1.15.0 或更早版本 图像分类

对于保存的模型，一个 .pb 或一个 .pbtxt 文件，以及一个包含变量的变量目录

对于冻结模型，仅一个 .pb 或 .pbtxt 文件
注意

“模型版本”是用于训练和导出模型的框架版本。

您可以将 SageMaker Neo 编译的模型部署到基于 AWS Inferentia 的 Amazon EC2 Inf1 实例。AWS Inferentia 是 Amazon 的第一个自定义硅芯片，旨在加速深度学习。目前，您可以使用 ml_inf1 实例部署已编译的模型。

Amazon Elastic Inference

SageMaker Neo 支持 的以下深度学习框架Elastic Inference：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz）
TensorFlow 2.3.2 支持 2.3 图像分类、对象检测、语义分割、姿势评估、活动识别

对于保存的模型，为一个 .pb 或一个 .pbtxt 文件，以及一个包含变量的变量目录。

对于冻结模型，仅一个 .pb 或 .pbtxt 文件。

您可以将 SageMaker Neo 编译的模型部署到 Elastic Inference Accelerator。有关更多信息，请参阅。