查看端点状态 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看端点状态

如果要使用经过训练的模型对实时数据进行推理,则将模型部署到实时端点。为了确保预测具有适当的延迟,您需要确保托管模型的实例高效运行。模型控制面板的端点监控特征可显示有关端点配置的实时信息,并通过指标帮助您跟踪端点性能。

监控器设置

模型控制面板链接到现有的 SageMaker 终端节点详情页面,这些页面显示了您可以在 Amazon 中选择的指标的实时图表 CloudWatch。在控制面板中,您可以在端点处理实时推理请求时跟踪这些指标。以下是您可以选择的指标:

  • CpuUtilization:每个内核利用率的总和,每个CPU内核的利用率介于 0% 到 100% 之间。

  • MemoryUtilization:实例上的容器所使用的内存的百分比,范围为 0% 至 100%。

  • DiskUtilization:实例上的容器所使用的磁盘空间的百分比,范围为 0% 至 100%。

有关您可以实时查看的指标的完整列表,请参阅 SageMaker 通过亚马逊监控亚马逊的指标 CloudWatch

运行时设置

Amazon SageMaker 支持对您的托管模型进行自动缩放(自动缩放)。自动扩缩动态调整为模型预置的实例数,以响应工作负载的变化。当工作负载增加时,自动扩缩功能会让更多实例上线。当工作负载减小时,自动扩缩功能会移除不必要的实例,这样您就不会为未使用的预置实例付费。您可以在模型控制面板中自定义以下运行时设置:

  • 更新权重:使用数字权重更改分配给每个实例的工作负载量。有关自动扩展期间实例权重的更多信息,请参阅为 Ama EC2 zon Auto Scaling 配置实例权重

  • 更新实例数:当工作负载增加时,更改可为其提供服务的实例总数。

有关端点运行时设置的更多信息,请参阅CreateEndpointConfig

端点配置设置

端点配置设置显示您在创建端点时指定的设置。这些设置会告知要为终端节点配置 SageMaker 哪些资源。其中包括以下设置:

  • 数据捕获:您可以选择捕获有关端点输入和输出的信息。例如,您可能希望对传入流量进行采样,以查看结果是否与训练数据相关。您可以自定义采样频率、存储数据的格式以及存储数据的 Amazon S3 位置。有关设置数据捕获配置的更多信息,请参阅数据采集

  • 生产变体:请参阅运行时设置中的先前讨论。

  • 异步调用配置:如果您的终端节点是异步的,则此部分包括 SageMaker 客户端向模型容器发送的最大并发请求数、成功和失败通知的 Amazon S3 位置以及终端节点输出的输出位置。有关异步输出的更多信息,请参阅异步端点操作

  • 加密密钥:如果要加密输出,可以输入加密密钥。

有关端点配置设置的更多信息,请参阅CreateEndpointConfig

查看端点的状态和配置

要查看模型端点的状态和配置,请完成以下步骤:
  1. 打开控制SageMaker 台

  2. 在左侧面板中选择治理

  3. 选择模型控制面板

  4. 在模型控制面板的模型部分,选择要查看的端点的模型名称。

  5. 端点部分中选择端点名称。