将模型部署到端点

在 Amazon SageMaker Canvas 中，您可以将模型部署到终端节点以进行预测。 SageMaker 提供机器学习基础架构，供您在带有您选择的计算实例的终端节点上托管模型。然后，您可以调用端点（发送预测请求）并从模型中获取实时预测。借助此功能，您可以在生产环境中使用模型来响应传入的请求，还可以将模型与现有应用程序和工作流集成。

首先，你应该有一个要部署的模型。您可以部署自己构建的自定义模型版本，也可以部署 Amazon SageMaker JumpStart 基础模型。有关在 Canvas 中构建模型的更多信息，请参阅构建自定义模型。有关 Canvas 中 JumpStart基础模型的更多信息，请参阅在根基模型中使用生成式人工智能。

查看以下权限管理部分，然后在部署模型部分开始创建新部署。

权限管理

默认情况下，您有权将模型部署到 SageMaker 托管终端节点。 SageMaker 通过策略为所有新的和现有的 Canvas 用户配置文件授予这些权限，该AmazonSageMakerCanvasFullAccess策略附加到托管 Canvas 应用程序的 SageMaker 域的 Amazon IAM 执行角色。

如果您的 Canvas 管理员正在设置新的域或用户配置文件，则在设置域并按照中的先决条件说明进行操作时设置 Amazon C SageMaker anvas 的先决条件， SageMaker会通过 “启用直接部署 Canvas 模型” 选项开启模型部署权限，该选项默认处于启用状态。

Canvas 管理员还可以在用户配置文件级别管理模型部署权限。例如，如果管理员不想在设置域时向所有用户配置文件授予模型部署权限，则可以在创建域后向特定用户授予权限。

以下过程说明如何修改特定用户配置文件的模型部署权限：

用户配置文件现在应该具有模型部署权限。

部署模型

要开始部署模型，您可以在 Canvas 中创建一个新的部署，并指定要部署的模型版本以及 ML 基础设施，例如要用于托管模型的计算实例的类型和数量。

Canvas 会根据您的模型类型建议默认类型和实例数量，或者您可以在 Amazon SageMaker 定价页面上详细了解各种 SageMaker 实例类型。您的终端节点处于活动状态时，将根据 SageMaker 实例定价向您收费。

部署 JumpStart 基础模型时，您还可以选择指定部署时间的长度。您可以无限期地将模型部署到终端节点（这意味着终端节点在您关闭之前一直处于活动状态）。或者，如果您只需要在短时间内使用终端节点并希望降低成本，则可以在指定的时间段内将模型部署到终端节点，之后将为您 SageMaker 关闭终端节点。

将模型部署到 SageMaker 托管实时推理端点后，您可以通过调用该终端节点开始进行预测。

您可以通过多种不同的方式从 Canvas 应用程序部署模型。您可以通过以下任一方法访问模型部署选项：

所有这些方法都会打开部署模型侧面板，您可在此指定模型的部署配置。要通过此面板部署模型，请执行以下操作：

现在，您的模型应该已部署到端点。有关如何查看部署详细信息或执行各种操作的信息，请参阅以下几节。

查看部署

您可能想检查 Canvas 中模型部署的状态或详细信息。例如，如果部署失败，您可能需要查看详细信息以排查问题。

您可以通过 Canvas 应用程序或亚马逊 SageMaker 控制台查看您的 Canvas 模型部署。

要从 Canvas 查看部署详细信息，请选择以下过程之一：

要从 ML Ops 页面查看您的部署详细信息，请执行以下操作：

要从模型版本页面查看部署详细信息，请执行以下操作：

此时会打开部署的详细信息页面，您可以查看最近一次预测的时间、端点的状态和配置以及当前部署到端点的模型版本等信息。

您还可以在SageMaker 控制台的控制SageMaker 面板中查看当前处于活动状态的 Canvas 工作空间实例和活动终端节点。您的 Canvas 端点与您创建的任何其他 SageMaker 托管终端节点一起列出，您可以通过搜索带有 Canvas 标签的端点来筛选它们。

以下屏幕截图显示了 SageMaker 仪表板。在 Canvas 部分，您可以看到一个工作区实例正在运行，四个端点处于活动状态。

更新部署配置

您也可以更新部署配置。例如，可以向端点部署更新的模型版本，也可以根据容量需求更新端点后面的实例类型或实例数量。

您可以通过几种不同的方式从 Canvas 应用程序更新部署。您可以使用以下任何一种方法：

上述两种方法都会打开更新配置侧面板，您可以在其中更改部署配置。要更新配置，请执行以下操作：

您的部署配置现在应该已更新。

测试部署

您可以通过 Canvas 应用程序调用端点或发出单一预测请求来测试您的部署。在生产环境中以编程方式调用端点之前，您可以使用此功能确认端点是否响应请求。

测试自定义模型部署

您可以通过 ML Ops 页面访问自定义模型部署，然后进行一次调用，这将返回预测以及预测正确的概率，从而对其进行测试。

要通过 Canvas 应用程序测试您的端点，请执行以下操作：

此时将加载预测，同时加载的还有调用结果字段，这些字段指示调用是否成功以及处理请求所需的时间。

以下屏幕截图显示了在 Canvas 应用程序的测试部署选项卡上执行的预测。

对于除数值预测之外的所有模型类型，预测将返回以下字段：

对于数值预测模型，预测结果只包含分数字段，即模型的预测输出，如预测的房屋价格。

您可以继续通过部署测试页面进行单一预测，也可以查看以下调用端点部分，了解如何从应用程序中以编程方式调用端点。

测试 JumpStart 基础模型部署

您可以通过 Canvas 应用程序与已部署 JumpStart 的基础模型交谈，以测试其功能，然后再通过代码调用该模型。

要与已部署 JumpStart 的基础模型交谈，请执行以下操作：

调用端点

测试部署后，您可以像调用任何其他SageMaker 实时端点一样以编程方式调用终端节点，从而在生产环境中使用终端节点。以编程方式调用端点会返回一个响应对象，其中包含的字段与上一节测试部署 中提到的相同。

有关如何以编程方式调用端点的更多详细信息，请参阅调用模型进行实时推理。

下面的 Python 示例向您展示了如何根据模型类型调用端点。

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(
    [['feature_column1', 'feature_column2'], 
    ['feature_column1', 'feature_column2']]
).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(['feature_column1', 'feature_column2'], ['feature_column1', 'feature_column2']).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
client = boto3.client("runtime.sagemaker")
with open("example_image.jpg", "rb") as file:
    body = file.read()
    response = client.invoke_endpoint(
        EndpointName="endpoint_name",
        ContentType="application/x-image",
        Body=body,
        Accept="application/json"
    )

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame([["Example text 1"], ["Example text 2"]]).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

删除模型部署

可以从 Canvas 应用程序中删除您的模型部署。此操作还会从 SageMaker 控制台中删除终端节点并关闭所有与端点相关的资源。

要在 Canvas 中删除部署，请执行以下操作：

现在应该从 Canvas 和 SageMaker 控制台中删除您的部署和 SageMaker 托管终端节点。