Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

CloudWatch 解决方案：Amazon EC2 上的 NVIDIA GPU 工作负载

此解决方案可帮助您使用 CloudWatch 代理为在 EC2 实例上运行的 NVIDIA GPU 工作负载配置开箱即用的指标收集。此外，它还可以帮助您设置预配置的 CloudWatch 控制面板。有关所有 CloudWatch 可观测性解决方案的一般信息，请参阅 CloudWatch 可观测性解决方案。

要求

此解决方案适用于以下情况：

优势

该解决方案提供 NVIDIA 监测，为以下用例提供宝贵的见解：

以下是该解决方案的主要优点：

下图是此解决方案控制面板的示例。

成本

此解决方案在您的账户中创建和使用资源。您需要为标准使用量付费，包括以下各项：

有关 CloudWatch 定价的信息，请参阅 Amazon CloudWatch 定价。

定价计算器可帮助您估算使用此解决方案的每月大致费用。

此解决方案的 CloudWatch 代理配置

CloudWatch 代理是在您的服务器和容器化环境中持续自主运行的软件。它从您的基础设施和应用程序收集指标、日志和跟踪，并将其发送到 CloudWatch 和 X-Ray。

有关 CloudWatch 代理的更多信息，请参阅使用 CloudWatch 代理收集指标、日志和跟踪信息。

此解决方案中的代理配置收集一组指标，以帮助您开始监测和观察 NVIDIA GPU。可以将 CloudWatch 代理配置为收集比控制面板默认显示更多的 NVIDIA GPU 指标。有关您可以收集的所有 NVIDIA GPU 指标的列表，请参阅收集 NVIDIA GPU 指标。

此解决方案的代理配置

代理收集的指标在代理配置中定义。该解决方案提供代理配置，以收集建议的指标，并为解决方案的控制面板提供合适的维度。

在装有 NVIDIA GPU 的 EC2 实例上使用以下 CloudWatch 代理配置。配置将作为参数存储在 SSM 的 Parameter Store 中，稍后将在步骤 2：在 Systems Manager Parameter Store 中存储建议的 CloudWatch 代理配置文件中详细介绍。

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

为您的解决方案部署代理

安装 CloudWatch 代理有几种方法，具体视用例而定。对于此解决方案，我们建议使用 Systems Manager。它提供了控制台体验，使在单个 Amazon 账户中管理一组托管服务器变得更加简单。本节中的说明使用 Systems Manager，适用于没有使用现有配置运行 CloudWatch 代理的情况。您可以按照验证 CloudWatch 代理是否正在运行中的步骤检查 CloudWatch 代理是否正在运行。

如果您已经在部署工作负载的 EC2 主机上运行 CloudWatch 代理并管理代理配置，则可以跳过本节中的说明并按照现有部署机制更新配置。请务必将 NVIDIA GPU 的代理配置与现有的代理配置合并，然后部署合并的配置。如果您使用 Systems Manager 存储和管理 CloudWatch 代理的配置，则可以将配置合并到现有参数值。有关更多信息，请参阅 Managing CloudWatch agent configuration files。

部署过程包括以下步骤：

步骤 1：确保目标 EC2 实例具有所需的 IAM 权限

您必须授予 Systems Manager 安装和配置 CloudWatch 代理的权限。您还必须授予 CloudWatch 代理将遥测数据从 EC2 实例发布到 CloudWatch 的权限。确保附加到实例的 IAM 角色已附加 CloudWatchAgentServerPolicy 和 AmazonSSMManagedInstanceCore IAM 策略。

步骤 2：在 Systems Manager Parameter Store 中存储建议的 CloudWatch 代理配置文件

Parameter Store 通过安全地存储和管理配置参数，简化了 CloudWatch 代理在 EC2 实例上的安装，而无需硬编码值。这可确保更加安全灵活的部署过程，从而实现集中管理，并且可以更轻松地跨多个实例更新配置。

使用以下步骤将建议的 CloudWatch 代理配置文件作为参数存储在 Parameter Store 中。

步骤 3：安装 CloudWatch 代理并使用 Amazon CloudFormation 模板应用配置

您可以使用 Amazon CloudFormation 安装代理，并将其配置为使用您在前面步骤中创建的 CloudWatch 代理配置。

如果要先编辑模板文件进行自定义，请选择创建堆栈向导下的上传模板文件选项，上传编辑后的模板。有关更多信息，请参阅在 Amazon CloudFormation 控制台上创建堆栈。

步骤 4：验证代理设置是否正确配置

您可以按照验证 CloudWatch 代理是否正在运行中的步骤验证 CloudWatch 代理是否已安装。如果 CloudWatch 代理尚未安装和运行，请确保已正确设置所有内容。

如果一切设置正确，那么您应该会看到 NVIDIA GPU 指标发布到 CloudWatch。您可以查看 CloudWatch 控制台以验证这些指标是否已发布。

创建 NVIDIA GPU 解决方案控制面板

此解决方案提供的控制面板通过聚合和显示所有实例的指标来显示 NVIDIA GPU 指标。控制面板显示每个指标排名靠前的贡献者（每个指标的前 10 名小部件）明细。这可以帮助您快速识别对观测指标有显著影响的异常值或实例。

要创建控制面板的操作，可以使用以下选项：

通过使用 CloudWatch 控制台创建控制面板，您可以在实际创建和收费之前预览控制面板。

如果要编辑模板文件以出于任何目的对其进行自定义，则可以使用创建堆栈向导下的上传模板文件选项来上传编辑后的模板。有关更多信息，请参阅在 Amazon CloudFormation 控制台上创建堆栈。您可以使用以下链接下载模板：https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json。

开始使用 NVIDIA GPU 控制面板

您可以使用新的 NVIDIA GPU 控制面板尝试以下几项任务。这些任务允许您验证控制面板是否正常运行，并为您提供使用它来监测 NVIDIA GPU 的一些实践经验。在尝试这些任务的过程中，您将熟悉如何浏览控制面板和解读可视化指标。

查看 GPU 利用率

从利用率部分，找到 GPU 利用率和内存利用率小部件。这些小部件分别显示了 GPU 主动用于计算的时间百分比以及正在读取或写入的全局内存百分比。高利用率可能表示潜在的性能瓶颈或需要额外的 GPU 资源。

分析 GPU 内存使用情况

在内存部分，找到总内存、已用内存和可用内存小部件。这些小部件可以深入了解 GPU 的总体内存容量以及当前消耗或可用的内存量。内存压力可能会导致性能问题或内存不足错误，因此监测这些指标并确保有足够的内存可用于工作负载非常重要。

监测温度和功耗

在温度/功率部分，找到 GPU 温度和功耗小部件。这些指标对于确保您的 GPU 在安全的散热和功率限制内运行至关重要。

确定编码器性能

在编码器部分，找到编码器会话计数、平均 FPS 和平均延迟小部件。这些指标在 GPU 上运行视频编码工作负载的情况。监测这些指标，确保您的编码器以最佳状态运行，并识别任何潜在的瓶颈或性能问题。

检查 PCIe 链路状态

在 PCIe 部分，找到 PCIe 链路生成和 PCIe 链路宽度小部件。这些指标提供了有关将 GPU 连接到主机系统的 PCIe 链路的信息。确保链路以预期的生成和宽度运行，以避免因 PCIe 瓶颈而导致潜在的性能限制。

查看 GPU 时钟

在时钟部分，找到图形时钟、SM 时钟、内存时钟和视频时钟小部件。这些指标显示了各种 GPU 组件当前的运行频率。监测这些时钟可以帮助确定可能影响性能的 GPU 时钟缩放或频率限制的潜在问题。