集群和任务可观测性

监控 SageMaker HyperPod 集群有两个选项：

SageMaker HyperPod 可观测性插件 — SageMaker HyperPod 提供全面的 out-of-the-box仪表板，可让您深入了解基础模型 (FM) 开发任务和集群资源。此统一的可观测性解决方案会自动将关键指标发布到 Amazon Managed Service for Prometheus，并在 Amazon Managed Grafana 控制面板中展示这些指标。这些控制面板已专门针对基础模型开发进行优化，深度覆盖了硬件运行状况、资源利用率以及任务级性能。使用此附加组件，您可以整合来自 NVIDIA DCGM、实例级 Kubernetes 节点导出器、Elastic Fabric Adapter、集成文件系统、Kubernetes、K APIs ueue 和任务操作员的运行状况和性能数据。 SageMaker HyperPod

Amazon CloudWatch Ins CloudWatch ights — Amazon Insights 收集计算资源的指标，例如 CPU、内存、磁盘和网络。Container Insights 还提供诊断信息（如容器重新启动失败），以帮助您查明问题并快速解决问题。您还可以对容器洞察收集的指标设置 CloudWatch 警报。