部署模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署模型

部署亚马逊 SageMaker Neo 编译的模型转换为 HTTPS 终端节点,您必须使用 Amazon 为模型配置和创建终端节点。 SageMaker 托管服务。目前,开发者可以使用亚马逊 SageMaker 将模块部署到 ml.c5、ml.c4、ml.c4、ml.m5、ml.c4、ml.p3、ml.p3、ml.p3、ml.p2 和 ml.inf1 实例上。

对于 Inf1 实例,需要专门为 ml.inf1 实例编译模型。无法保证为其他实例类型编译的模型能够与 ml.inf1 实例配合使用。

适用于Elastic Inference 加速器,需要专门为 ml_eia2 设备编译模型。有关如何将编译后的模型部署到 Elastic Inference 加速器的信息,请参阅将 EI 在 Amazon SageMaker 托管终端节点上.

部署编译的模型时,您需要为用于编译的目标使用相同的实例。这会创建一个 SageMaker 您可以用来执行推理的终端节点。您可以使用以下任一方法部署 NEO 编译模型:亚马逊 SageMaker 适用于 Python 的开发工具包适用于 Python (Boto3) 的 SDKAmazon Command Line Interface,以及 SageMaker 控制台https://console.aws.amazon.com/ SageMaker.

注意

用于使用部署模型Amazon CLI、控制台或 Boto3,请参阅Neo 推理容器映像为主容器选择推理图像 URI。