本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
支持的实例类型和框架
Amazon SageMaker Neo 支持用于编译和部署的流行深度学习框架。您可以将模型部署到云实例或 Amazon Inferentia 实例类型。
下面介绍了 SageMaker Neo 支持的框架以及您可以编译和部署到的目标云实例。有关如何将编译后的模型部署到云实例或 Inferentia 实例的信息,请参阅使用云实例部署模型。
云实例
SageMaker Neo 支持以下适用于CPU和GPU云实例的深度学习框架:
框架 | 框架版本 | 模型版本 | 模型 | 模型格式(打包为 *.tar.gz) | 工具包 |
---|---|---|---|---|---|
MXNet | 1.8.0 | 支持 1.8.0 或更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
ONNX | 1.7.0 | 支持 1.7.0 或更早版本 | 图像分类,SVM | 一个模型文件 (.onnx) | |
Keras | 2.2.4 | 支持 2.2.4 或更早版本 | 图像分类 | 一个模型定义文件 (.h5) | |
PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 | 支持 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0 |
图像分类 版本 1.13 和 2.0 支持物体检测、视觉转换器和 HuggingFace |
一个模型定义文件(.pt 或.pth),其输入 dtype 为 float32 | |
TensorFlow | 1.15.3 或 2.9 | 支持 1.15.3 和 2.9。 | 图像分类 | 对于保存的模型,需要一个 .pb 或一个 .pbtxt 文件,以及包含变量的变量目录 对于冻结模型,只需要一个 .pb 或一个 .pbtxt 文件 |
|
XGBoost | 1.3.3 | 支持 1.3.3 或更早版本 | 决策树 | 一个XGBoost模型文件 (.model),其中树中的节点数小于 2^31 |
注意
“模型版本”是用于训练和导出模型的框架版本。
实例类型
您可以将 SageMaker 编译后的模型部署到下面列出的云实例之一:
实例 | 计算类型 |
---|---|
|
Standard |
|
Standard |
|
Standard |
|
Standard |
|
加速计算型 |
|
加速计算型 |
|
加速计算型 |
有关每种实例类型的可用版本CPU、内存和每小时价格的信息,请参阅 Amazon SageMaker 定价
注意
使用 PyTorch 框架编译ml_*
实例时,请使用输出配置中的编译器选项字段提供模型输入的正确数据类型 (dtype
)。
默认被设置为 "float32"
。
Amazon 推论
SageMaker Neo 支持以下适用于 Inf1 的深度学习框架:
框架 | 框架版本 | 模型版本 | 模型 | 模型格式(打包为 *.tar.gz) | 工具包 |
---|---|---|---|---|---|
MXNet | 1.5 或 1.8 | 支持 1.8、1.5 及更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
PyTorch | 1.7、1.8 或 1.9 | 支持 1.9 及更早版本 | 图像分类 | 一个模型定义文件(.pt 或.pth),其输入 dtype 为 float32 | |
TensorFlow | 1.15 或 2.5 | 支持 2.5、1.15 及更早版本 | 图像分类 | 对于保存的模型,需要一个 .pb 或一个 .pbtxt 文件,以及包含变量的变量目录 对于冻结模型,只需要一个 .pb 或一个 .pbtxt 文件 |
注意
“模型版本”是用于训练和导出模型的框架版本。
您可以将 SageMaker 新编译的模型部署到 Amazon 基于推理的 Amazon Inf1 实例。EC2 Amazon Inferentia是亚马逊首款专为加速深度学习而设计的定制硅芯片。目前,您可以使用 ml_inf1
实例来部署已编译的模型。
Amazon Inferentia2 和 Trainium Amazon
目前,您可以将您的 SageMaker Neo 编译模型部署到 Amazon 基于 Inferentia2 的 A EC2 mazon Inf2 实例(位于美国东部(俄亥俄州)区域)和基于 Amazon Trainium 的 A EC2 mazon Trn1 实例(位于美国东部(弗吉尼亚北部)区域)。有关这些实例上支持的模型的更多信息,请参阅 Ne Amazon uron 文档中的模型架构拟合指南