本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
支持的实例类型和框架构
亚马逊SageMakerNeo 支持流行的深度学习框架进行编译和部署。您可以将模型部署到云实例,Amazon推理实例类型,或者 Amazon Elastic Inference 加速器。
下面介绍了框架SageMakerNeo 支持以及您可以编译和部署到的目标云实例。有关如何将编译后的模型部署到云或 Inferentia 实例的信息,请参阅使用云实例部署模型. 有关如何使用 Elastic Inference 加速器部署编译后的模型的信息,请参阅将 EI 在 Amazon SageMaker 托管终端节点上.
云实例
SageMakerNeo 支持以下适用于 CPU 和 GPU 云实例的深度学习框架:
框架 | 框架版本 | 模型版本 | 模型 | 模型格式(包装在 *.tar.gz 中) | 工具箱 |
---|---|---|---|---|---|
MXNet | 1.8.0 | 支持 1.8.0 或更低版本 | 图像分类、目标检测、语义分割、姿势估计、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
ONNX | 1.7.0 | 支持 1.7.0 或更低版本 | 图像分类、SVM | 一个模型文件 (.onnx) | |
Keras | 2.2.4 | 支持 2.2.4 或更低版本 | 图像分类 | 一个模型定义文件 (.h5) | |
PyTorch | 1.4、1.5、1.6、1.7 或 1.8 | 支持 1.4、1.5、1.6、1.7 和 1.8 | 图像分类 | 一个模型定义文件(.pt 或 .pth),输入 dtype 为 float32 | |
TensorFlow | 1.15.3 或 2.4 | 支持 1.15.3 和 2.4 | 图像分类 | 对于保存的模型,需要一个 .pb 或一个 .pbtxt 文件,以及包含变量的变量目录。 对于冻结模型,只需要一个 .pb 或一个 .pbtxt 文件 |
|
XGBoost | 1.3.3 | 支持 1.3.3 或更低版本 | 决策树 | 其中树的节点数小于 2^31 个 XGBoost 模型文件 (.model) |
“模型版本” 是用于训练和导出模型的框架的版本。
实例类型
你可以部署SageMaker已编译模型到下面列出的云实例之一:
实例 | 计算类型 |
---|---|
|
标准 |
|
标准 |
|
标准 |
|
标准 |
|
加速计算 |
|
加速计算 |
|
加速计算 |
有关每种实例类型的可用 vCPU、内存和每小时价格的信息,请参阅亚马逊SageMaker定价
在编译时ml_*
使用实例PyTorch框架,使用编译器选项字段输出配置提供正确的数据类型 (dtype
) 模型的输入。
默认值设置为"float32"
.
Amazon推理
SageMakerInferentia 支持以下深度学习框架:
框架 | 框架版本 | 模型版本 | 模型 | 模型格式(包装在 *.tar.gz 中) | 工具箱 |
---|---|---|---|---|---|
MXNet | 1.5.1 | 支持 1.5.1 或更低版本 | 图像分类、目标检测、语义分割、姿势估计、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 |
PyTorch | 1.7.1 | 支持 1.7.1 或更低版本 | 图像分类 | 一个模型定义文件(.pt 或 .pth),输入 dtype 为 float32 | |
TensorFlow | 1.15.0 | 支持 1.15.0 或更低版本 | 图像分类 | 对于保存的模型,需要一个 .pb 或一个 .pbtxt 文件,以及包含变量的变量目录。 对于冻结模型,只需要一个 .pb 或一个 .pbtxt 文件 |
“模型版本” 是用于训练和导出模型的框架的版本。
你可以部署SageMakerNEO 编译模型Amazon基于推断的 Amazon EC2 Inf1 实例。AmazonInferentia 是亚马逊首款旨在加速深度学习的定制硅芯片。目前,您可以使用ml_inf1
实例来部署编译后的模型。
Amazon Elastic Inference
SageMakerElastic Inference 支持以下深度学习框架:
框架 | 框架版本 | 模型版本 | 模型 | 模型格式(包装在 *.tar.gz 中) |
---|---|---|---|---|
TensorFlow | 2.3.2 | 支持 2.3 | 图像分类、目标检测、语义分割、姿势估计、活动识别 | 对于保存的模型,需要一个 .pb 或一个 .pbtxt 文件,以及包含变量的变量目录。 对于冻结模型,只需要一个 .pb 或一个 .pbtxt 文件。 |
你可以部署SageMaker新编译模型转换为 Elastic Inference 加速器。有关更多信息,请参阅将 EI 在 Amazon SageMaker 托管终端节点上。