支持的实例类型和框架
Amazon SageMaker Neo 支持用于编译和部署的常用深度学习框架。您可以将模型部署到云实例、Amazon Inferentia 实例类型或 Amazon Elastic Inference 加速器。
下面介绍了 SageMaker Neo 支持的框架，以及您可以编译和部署到其中的目标云实例。有关如何将编译后的模型部署到云实例或 Inferentia 实例的信息，请参阅使用云实例部署模型。有关如何使用 Elastic Inference 加速器部署编译后的模型的信息，请参阅在 Amazon SageMaker 托管端点上使用 EI。
云实例
SageMaker Neo 支持下列适用于 CPU 和 GPU 云实例的深度学习框架：
| 框架 | 框架版本 | 模型版本 | 模型 | 模型格式（打包为 *.tar.gz） | 工具包 |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | 支持 1.8.0 或更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | 支持 1.7.0 或更早版本 | 图像分类、SVM | 一个模型文件 (.onnx) | |
| Keras | 2.2.4 | 支持 2.2.4 或更早版本 | 图像分类 | 一个模型定义文件 (.h5) | |
| PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 | 支持 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0 |
图像分类 版本 1.13 和 2.0 支持对象检测、Vision Transformer 和 HuggingFace |
一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32 | |
| TensorFlow | 1.15.3 或 2.9 | 支持 1.15.3 和 2.9。 | 图像分类 | 对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录 对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件 |
|
| XGBoost | 1.3.3 | 支持 1.3.3 或更早版本 | 决策树 | 一个 XGBoost 模型文件 (.model)，其中树的节点数小于 2^31 |
注意
“模型版本”是用于训练和导出模型的框架版本。
实例类型
您可以将 SageMaker 编译的模型部署到下面列出的云实例之一：
| 实例 | 计算类型 |
|---|---|
|
标准 |
|
标准 |
|
标准 |
|
标准 |
|
加速计算 |
|
加速计算 |
|
加速计算 |
有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅 Amazon SageMaker 定价
注意
使用 PyTorch 框架编译 ml_* 实例时，请使用输出配置中的编译器选项字段提供模型输入的正确数据类型 (dtype)。
默认被设置为 "float32"。
Amazon Inferentia
SageMaker Neo 支持下列适用于 Inf1 的深度学习框架：
| 框架 | 框架版本 | 模型版本 | 模型 | 模型格式（打包为 *.tar.gz） | 工具包 |
|---|---|---|---|---|---|
| MXNet | 1.5 或 1.8 | 支持 1.8、1.5 及更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7、1.8 或 1.9 | 支持 1.9 及更早版本 | 图像分类 | 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32 | |
| TensorFlow | 1.15 或 2.5 | 支持 2.5、1.15 及更早版本 | 图像分类 | 对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录 对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件 |
注意
“模型版本”是用于训练和导出模型的框架版本。
您可以将 SageMaker Neo 编译的模型部署到Amazon基于 Inferentia 的 Amazon EC2 Inf1 实例。AmazonInferentia 是 Amazon 首款专为加速深度学习而设计的定制硅芯片。目前，您可以使用 ml_inf1 实例来部署已编译的模型。
Amazon Inferentia2 和 Amazon Trainium
目前，您可以将 SageMaker Neo 编译的模型部署到基于 Amazon Inferentia2 的 Amazon EC2 Inf2 实例（位于美国东部（俄亥俄州）区域）和基于 Amazon Trainium 的 Amazon EC2 Trn1 实例（位于美国东部（弗吉尼亚州北部）区域）。有关这些实例上支持的模型的更多信息，请参阅 Amazon Neuron 文档中的《模型架构拟合指南》
Amazon Elastic Inference
SageMaker Neo 支持下列用于 Elastic Inference 的深度学习框架：
| 框架 | 框架版本 | 模型版本 | 模型 | 模型格式（打包为 *.tar.gz） |
|---|---|---|---|---|
| TensorFlow | 2.3.2 | 支持 2.3 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录。 对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件。 |
您可以将 SageMaker Neo 编译的模型部署到 Elastic Inference 加速器。有关更多信息，请参阅 在 Amazon SageMaker 托管端点上使用 EI。