部署模型

要将 Amazon SageMaker Neo 编译的模型部署到 HTTPS 终端节点，您必须使用亚马逊 SageMaker 托管服务为该模型配置和创建终端节点。目前，开发人员可以使用亚马逊 SageMaker API 在 ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2 和 ml.inf1 实例上部署模块。

对于 Inferentia 和 Trainium 实例，需要专门针对这些实例对模型进行编译。不保证为其他实例类型编译的模型能够与 Inferentia 或 Trainium 实例配合使用。

对于 Elastic Inference 加速器，需要专门为 ml_eia2 设备编译模型。有关如何将编译过的模型部署到 Elastic Inference 加速器的信息，请参阅 在亚马逊 SageMaker 托管的终端节点上使用 EI。

部署编译的模型时，您需要为用于编译的目标使用相同的实例。这将创建一个可用于执行推断的 SageMaker 端点。您可以使用以下任一方法部署 Neo 编译模型：适用于 Python 的亚马逊 SageMaker SDK、适用于 Python 的软件开发工具包 (Amazon Command Line InterfaceBoto3) 和控制台。SageMaker