部署 Autopilot 模型进行实时推理 - 亚马逊 SageMaker AI
实时推理
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

部署 Autopilot 模型进行实时推理

训练完 Amazon SageMaker Autopilot 模型后，您可以设置一个端点，以交互方式获取预测结果。下一节将介绍将模型部署到 SageMaker AI 实时推理端点的步骤，以便从模型中获取预测结果。

实时推理

实时推理非常适合有实时、交互式、低延迟要求的推理工作负载。此部分演示如何使用实时推理，以交互方式从模型获取预测。

您可以使用 SageMaker API，手动部署在 Autopilot 实验中生成最佳验证指标的模型，如下所示。

或者，当您创建 Autopilot 实验时，也可选择自动部署选项。有关设置模型自动部署的信息，请参阅请求参数 CreateAutoMLJobV2 中的 ModelDeployConfig。这将自动创建一个端点。

注意

为避免产生不必要的费用，您可以删除从模型部署中创建的不需要端点和资源。有关按区域列出的实例定价的信息，请参阅 Amazon SageMaker 定价。

  1. 获取候选容器定义

    从 InferenceContainers 获取候选容器定义。用于推理的容器定义是指专为部署和运行经训练 SageMaker AI 模型以进行预测而设计的容器化环境。

    以下 Amazon CLI 命令示例使用 DescribeAutoMLJobV2 API 来获取最佳候选模型的定义。

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

  2. 列出候选项

    以下 Amazon CLI 命令示例使用 ListCandidatesForAutoMLJob API 列出所有候选模型。

    aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

  3. 创建 SageMaker AI 模型

    使用前面步骤中的容器定义以及您选择的候选模型，通过 CreateModel API 创建 SageMaker AI 模型。请参阅以下 Amazon CLI 命令示例。

    aws sagemaker create-model --model-name '<your-candidate-name>' \
                    --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                    --execution-role-arn '<execution-role-arn>' --region '<region>

  4. 创建端点配置

    以下 Amazon CLI 命令示例使用 CreateEndpointConfig API 创建端点配置。

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                    --production-variants '<list-of-production-variants>' \
                    --region '<region>'

  5. 创建端点

    以下 Amazon CLI 示例使用 CreateEndpoint API 来创建端点。

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                    --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                    --region '<region>'

    使用 DescribeEndpoint API 检查您的端点部署进度。请参阅以下 Amazon CLI 命令示例。

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    将 EndpointStatus 更改为 InService 后，端点即可用于实时推理。

  6. 调用端点

    以下命令结构调用端点以进行实时推理。

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                  --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>