本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
部署模型
部署亚马逊 SageMaker Neo 编译的模型转换为 HTTPS 终端节点,您必须使用 Amazon 为模型配置和创建终端节点。 SageMaker 托管服务。目前,开发者可以使用亚马逊 SageMaker 将模块部署到 ml.c5、ml.c4、ml.c4、ml.m5、ml.c4、ml.p3、ml.p3、ml.p3、ml.p2 和 ml.inf1 实例上。
对于 Inf1 实例
适用于Elastic Inference 加速器
部署编译的模型时,您需要为用于编译的目标使用相同的实例。这会创建一个 SageMaker 您可以用来执行推理的终端节点。您可以使用以下任一方法部署 NEO 编译模型:亚马逊 SageMaker 适用于 Python 的开发工具包
用于使用部署模型Amazon CLI、控制台或 Boto3,请参阅Neo 推理容器映像为主容器选择推理图像 URI。