部署模型

要将 Amazon SageMaker Neo 编译的模型部署到 HTTPS 终端节点上，您必须使用 Amazon SageMaker 托管服务为模型配置和创建终端节点。目前，开发人员可以使用 Amazon SageMaker API，将模块部署到 ml.c5、ml.m5、ml.m4、ml.p3、ml.p2 和 ml.inf1 实例上。

对于 Inf1 实例，需要专门为 ml.inf1 实例编译模型。无法保证为其他实例类型编译的模型能够与 ml.inf1 实例配合使用。

适用于Elastic Inference 加速器，需要专门为 ml_eia2 设备编译模型。有关如何将编译的模型部署到 Elastic Inference 加速器的信息，请参阅在 Amazon SageMaker 托管终端节点上使用 EI.

部署编译的模型时，您需要为用于编译的目标使用相同的实例。这会创建 SageMaker 终端节点，您可以使用该终端节点来执行推理。您可以使用以下任一方法部署 NEO 编译的模型：适用于 Python 的 Amazon SageMaker 开发工具包、适用于 Python (Boto3) 的开发工具包、Amazon Command Line Interface和 SageMaker 控制台https://console.aws.amazon.com/ SageMaker.