本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
查看端点状态
如果要使用经过训练的模型对实时数据进行推理,则将模型部署到实时端点。为了确保预测具有适当的延迟,您需要确保托管模型的实例高效运行。模型控制面板的端点监控特征可显示有关端点配置的实时信息,并通过指标帮助您跟踪端点性能。
监控器设置
模型控制面板链接到现有的 SageMaker 终端节点详情页面,这些页面显示了您可以在 Amazon 中选择的指标的实时图表 CloudWatch。在控制面板中,您可以在端点处理实时推理请求时跟踪这些指标。以下是您可以选择的指标:
-
CpuUtilization
:每个内核利用率的总和,每个CPU内核的利用率介于 0% 到 100% 之间。 -
MemoryUtilization
:实例上的容器所使用的内存的百分比,范围为 0% 至 100%。 -
DiskUtilization
:实例上的容器所使用的磁盘空间的百分比,范围为 0% 至 100%。
有关您可以实时查看的指标的完整列表,请参阅 SageMaker 通过亚马逊监控亚马逊的指标 CloudWatch。
运行时设置
Amazon SageMaker 支持对您的托管模型进行自动缩放(自动缩放)。自动扩缩动态调整为模型预置的实例数,以响应工作负载的变化。当工作负载增加时,自动扩缩功能会让更多实例上线。当工作负载减小时,自动扩缩功能会移除不必要的实例,这样您就不会为未使用的预置实例付费。您可以在模型控制面板中自定义以下运行时设置:
-
更新权重:使用数字权重更改分配给每个实例的工作负载量。有关自动扩展期间实例权重的更多信息,请参阅为 Ama EC2 zon Auto Scaling 配置实例权重。
-
更新实例数:当工作负载增加时,更改可为其提供服务的实例总数。
有关端点运行时设置的更多信息,请参阅CreateEndpointConfig。
端点配置设置
端点配置设置显示您在创建端点时指定的设置。这些设置会告知要为终端节点配置 SageMaker 哪些资源。其中包括以下设置:
有关端点配置设置的更多信息,请参阅CreateEndpointConfig。
查看端点的状态和配置
要查看模型端点的状态和配置,请完成以下步骤:
-
打开控制SageMaker 台
。 -
在左侧面板中选择治理。
-
选择模型控制面板。
-
在模型控制面板的模型部分,选择要查看的端点的模型名称。
-
在端点部分中选择端点名称。