部署模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署模型

要将 Amazon SageMaker Neo 编译的模型部署到HTTPS终端节点,您必须使用亚马逊 SageMaker 托管服务为该模型配置和创建终端节点。目前,开发人员可以使用亚马逊 SageMaker APIs在 ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2 和 ml.inf1 实例上部署模块。

对于 InferentiaTrainium 实例,需要专门针对这些实例对模型进行编译。不保证为其他实例类型编译的模型能够与 Inferentia 或 Trainium 实例配合使用。

部署编译的模型时,您需要为用于编译的目标使用相同的实例。这将创建一个可用于执行推断的 SageMaker 端点。您可以使用以下任一方法部署 Neo 编译的模型:适用于 Python 的 A maz SageMaker SDK on、适用于 Py SDKthon 的亚马逊(Boto3)和控制Amazon Command Line Interface台。SageMaker

注意

要使用 Amazon CLI控制台或 Boto3 部署模型,请参阅 Neo 推理容器镜像,URI为您的主容器选择推理映像。