将模型部署到端点

在 Amazon SageMaker Canvas 中，您可以将模型部署到端点以进行预测。SageMaker 为您提供了 ML 基础设施，让您可以在端点上使用您选择的计算实例来托管模型。然后，您可以调用端点（发送预测请求）并从模型中获取实时预测。借助此功能，您可以在生产环境中使用模型来响应传入的请求，还可以将模型与现有应用程序和工作流集成。

首先，您应该有一个准备好部署的模型版本。有关在 Canvas 中构建模型的更多信息，请参阅构建自定义模型。

查看以下权限管理部分，然后在部署模型部分开始创建新部署。

权限管理

默认情况下，您有权将模型版本部署到 SageMaker Hosting 端点。SageMaker 通过 AmazonSageMakerCanvasFullAccess 策略为所有新的和现有的 Canvas 用户配置文件授予这些权限，该策略附加到托管 Canvas 应用程序的 SageMaker 域的 Amazon IAM 执行角色。

如果您的 Canvas 管理员正在设置新的域或用户配置文件，当他们设置域并按照设置 Amazon SageMaker Canvas 的先决条件中的先决条件说明进行操作时，SageMaker 会通过默认启用的启用 Canvas 模型的直接部署选项打开模型部署权限。

Canvas 管理员还可以在用户配置文件级别管理模型部署权限。例如，如果管理员希望向某些用户配置文件授予模型部署权限，但删除其他用户配置文件的权限，他们可以编辑特定用户的权限。

以下过程说明如何关闭特定用户配置文件的模型部署权限：

用户配置文件不应再拥有模型部署权限。

部署模型

要开始部署模型，您可以在 Canvas 中创建一个新的部署，并指定要部署的模型版本以及 ML 基础设施，例如要用于托管模型的计算实例的类型和数量。

Canvas 会根据您的模型类型建议默认的实例类型和数量，您也可以在 Amazon SageMaker 定价页面上了解有关各种 SageMaker 实例类型的更多信息。当您的端点处于活动状态时，将根据 SageMaker 实例定价向您收费。

将模型部署到 SageMaker Hosting 实时推理端点后，可以通过调用端点开始进行预测。

从 Canvas 应用程序部署模型版本有几种不同的方法。您可以通过以下任一方法访问模型部署选项：

所有这些方法都会打开部署模型侧面板，您可在此指定模型的部署配置。要通过此面板部署模型，请执行以下操作：

现在，您的模型应该已部署到端点。有关如何查看部署详细信息或执行各种操作的信息，请参阅以下几节。

查看部署

您可能想检查 Canvas 中模型部署的状态或详细信息。例如，如果部署失败，您可能需要查看详细信息以排查问题。

您可以从 Canvas 应用程序或 Amazon SageMaker 控制台查看 Canvas 模型部署情况。

要从 Canvas 查看部署详细信息，请选择以下过程之一：

要从操作页面查看部署详细信息，请执行以下操作：

要从模型版本页面查看部署详细信息，请执行以下操作：

此时会打开部署的详细信息页面，您可以查看最近一次预测的时间、端点的状态和配置以及当前部署到端点的模型版本等信息。

您还可以从 SageMaker 控制台中的 SageMaker 控制面板查看当前活动的 Canvas 工作区实例和活动端点。您的 Canvas 端点会与您创建的任何其他 SageMaker Hosting 端点一起列出，您可以通过搜索带有 Canvas 标签的端点来筛选这些端点。

以下屏幕截图显示 SageMaker 控制面板。在 Canvas 部分，您可以看到一个工作区实例正在运行，四个端点处于活动状态。

更新部署配置

您也可以更新部署配置。例如，可以向端点部署更新的模型版本，也可以根据容量需求更新端点后面的实例类型或实例数量。

您可以通过几种不同的方式从 Canvas 应用程序更新部署。您可以使用以下任何一种方法：

上述两种方法都会打开更新配置侧面板，您可以在其中更改部署配置。要更新配置，请执行以下操作：

您的部署配置现在应该已更新。

测试部署

您可以通过 Canvas 应用程序调用端点或发出单一预测请求来测试您的部署。端点会返回一个包含预测和预测正确概率的响应。在生产环境中以编程方式调用端点之前，您可以使用此功能确认端点是否响应请求。

要通过 Canvas 应用程序测试您的端点，请执行以下操作：

此时将加载预测，同时加载的还有调用结果字段，这些字段指示调用是否成功以及处理请求所需的时间。

以下屏幕截图显示了在 Canvas 应用程序的测试部署选项卡上执行的预测。

对于除数值预测之外的所有模型类型，预测将返回以下字段：

对于数值预测模型，预测结果只包含分数字段，即模型的预测输出，如预测的房屋价格。

您可以继续通过部署测试页面进行单一预测，也可以查看以下调用端点部分，了解如何从应用程序中以编程方式调用端点。

调用端点

测试部署后，您可以像调用任何其他 SageMaker 实时端点一样，以编程方式调用端点，在生产环境中将端点用于您的应用程序。以编程方式调用端点会返回一个响应对象，其中包含的字段与上一节测试部署 中提到的相同。

有关如何以编程方式调用端点的更多详细信息，请参阅调用实时端点。

下面的 Python 示例向您展示了如何根据模型类型调用端点。

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(['feature_column1', 'feature_column2'], ['feature_column1', 'feature_column2']).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
client = boto3.client("runtime.sagemaker")
with open("example_image.jpg", "rb") as file:
    body = file.read()
    response = client.invoke_endpoint(
        EndpointName="endpoint_name",
        ContentType="application/x-image",
        Body=body,
        Accept="application/json"
    )

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame([["Example text 1"], ["Example text 2"]]).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

删除模型部署

可以从 Canvas 应用程序中删除您的模型部署。该操作还会从 SageMaker 控制台中删除端点，并关闭任何与端点相关的资源。

要在 Canvas 中删除部署，请执行以下操作：

现在，您的部署和 SageMaker Hosting 端点应从 Canvas 和 SageMaker 控制台中删除。