使用监控 GPU CloudWatch - 深度学习 AMI
使用 Amazon CloudWatch 代理配置指标（推荐）使用预安装 gpumon.py 脚本来配置指标
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用监控 GPU CloudWatch

当您将 DLAMI 与 GPU 结合使用时，您可能会发现，您要寻找在训练或推理期间跟踪其使用率的方式。这对于优化您的数据管道以及调整深度学习网络非常有用。

有两种方法可以配置 GPU 指标 CloudWatch：

使用 Amazon CloudWatch 代理配置指标（推荐）

将您的 DLAMI 与 CloudWatch 统一代理集成，以配置 GPU 指标并监控 Amazon EC2 加速实例中 GPU 协进程的利用率。

使用 DLAMI 来配置 GPU 指标的方式有四种：

有关更新和安全补丁的信息，请参阅 代理的安全补丁 Amazon CloudWatch

先决条件

首先，您必须配置 Amazon EC2 实例 IAM 权限，以允许您的实例将指标推送到 CloudWatch。有关详细步骤，请参阅创建用于 CloudWatch 代理的 IAM 角色和用户。

配置最低 GPU 指标

使用 dlami-cloudwatch-agent@minimal systemd 服务来配置最低 GPU 指标。此服务配置以下指标：

  • utilization_gpu

  • utilization_memory

您可以在以下位置找到适用于最低预先配置 GPU 指标的 systemd 服务：

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-minimal.json

使用以下命令启用并启动 systemd 服务：

sudo systemctl enable dlami-cloudwatch-agent@minimal
sudo systemctl start dlami-cloudwatch-agent@minimal

配置部分 GPU 指标

使用 dlami-cloudwatch-agent@partial systemd 服务来配置部分 GPU 指标。此服务配置以下指标：

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

您可以在以下位置找到适用于部分预先配置 GPU 指标的 systemd 服务：

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-partial.json

使用以下命令启用并启动 systemd 服务：

sudo systemctl enable dlami-cloudwatch-agent@partial
sudo systemctl start dlami-cloudwatch-agent@partial

配置所有可用 GPU 指标

使用 dlami-cloudwatch-agent@all systemd 服务来配置所有可用 GPU 指标。此服务配置以下指标：

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

  • temperature_gpu

  • power_draw

  • fan_speed

  • pcie_link_gen_current

  • pcie_link_width_current

  • encoder_stats_session_count

  • encoder_stats_average_fps

  • encoder_stats_average_latency

  • clocks_current_graphics

  • clocks_current_sm

  • clocks_current_memory

  • clocks_current_video

您可以在以下位置找到适用于所有可用预先配置 GPU 指标的 systemd 服务：

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-all.json

使用以下命令启用并启动 systemd 服务：

sudo systemctl enable dlami-cloudwatch-agent@all
sudo systemctl start dlami-cloudwatch-agent@all

配置自定义 GPU 指标

如果预配置的指标不符合您的要求，则可以创建自定义 CloudWatch 代理配置文件。

创建自定义配置文件

要创建自定义配置文件，请参阅手动创建或编辑 CloudWatch 代理配置文件中的详细步骤。

在此示例中，假设架构定义位于 /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json。

使用您的自定义文件来配置指标

运行以下命令根据您的自定义文件配置 CloudWatch 代理：

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
-a fetch-config -m ec2 -s -c \
file:/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

代理的安全补丁 Amazon CloudWatch

新发布的 DLAMI 配置了最新的可用 Amazon CloudWatch 代理安全补丁。请参阅以下部分，根据您选择的操作系统，使用最新安全补丁来更新您当前的DLAMI。

Amazon Linux 2

yum用于获取亚马逊 Linux 2 DLAMI 的最新 Amazon CloudWatch 代理安全补丁。

 sudo yum update

Ubuntu

要使用Ubuntu获取DLAMI的最新 Amazon CloudWatch 安全补丁，必须 Amazon CloudWatch 使用Amazon S3下载链接重新安装代理。

wget https://s3.region.amazonaws.com/amazoncloudwatch-agent-region/ubuntu/arm64/latest/amazon-cloudwatch-agent.deb

有关使用 Amazon S3 下载链接安装 Amazon CloudWatch 代理的更多信息，请参阅在服务器上安装和运行 CloudWatch 代理。

使用预安装 gpumon.py 脚本来配置指标

一个名为 gpumon.py 的实用工具已预安装在您的 DLAMI 上。它集成 CloudWatch 并支持监控每个 GPU 的使用情况：GPU 内存、GPU 温度和 GPU 功率。该脚本会定期将监控的数据发送到 CloudWatch。您可以通过更改脚本中的一些设置来配置要发送到 CloudWatch 的数据的粒度级别。但是，在启动脚本之前，您需要进行设置 CloudWatch 才能接收指标。

如何使用设置和运行 GPU 监控 CloudWatch

  1. 创建 IAM 用户，或修改现有用户以制定向其发布指标的策略 CloudWatch。如果创建新用户，请记下凭证，因为您将在下一步中需要这些凭证。

    要搜索的 IAM 策略是 “cloudwatch:PutMetricData”。要添加的策略如下所示：

    {
   "Version": "2012-10-17",
   "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData"
             ],
             "Effect": "Allow",
             "Resource": "*"
        }
   ]
}
    提示

    有关创建 IAM 用户和为添加策略的更多信息 CloudWatch，请参阅 CloudWatch 文档。

  2. 在您的 DLAMI 上，运行 Amazon 配置并指定 IAM 用户凭证。

    $ aws configure

  3. 您可能需要先对 gpumon 实用工具进行一些修改，然后再运行该工具。您可以在以下代码块中定义的位置中找到 gpumon 实用工具和 README。有关 gpumon.py 脚本的更多信息，请参阅脚本的 Amazon S3 位置。

    Folder: ~/tools/GPUCloudWatchMonitor
Files: 	~/tools/GPUCloudWatchMonitor/gpumon.py
      	~/tools/GPUCloudWatchMonitor/README

    选项：

    • 如果您的实例不在 us-east-1 中，请在 gpumon.py 中更改区域。

    • 使用更改其他参数，例如 CloudWatchnamespace或报告周期store_reso。

  4. 目前，该脚本仅支持 Python 3。激活您的首选框架的 Python 3 环境或激活 DLAMI 一般 Python 3 环境。

    $ source activate python3

  5. 在后台中运行 gpumon 实用工具。

    (python3)$ python gpumon.py &

  6. 打开浏览器前往 https://console.aws.amazon.com/cloudwatch/，然后选择指标。它将有一个命名空间 “DeepLearningTrain”。

    提示

    您可以修改 gpumon.py 来更改该命名空间。您也可以通过调整 store_reso 来修改报告间隔。

以下是一个示例 CloudWatch 图表，报告了 gpumon.py 在监控 p2.8xlarge 实例上的训练作业的情况。

GPU 监控已开启 CloudWatch

您可能对有关 GPU 监控和优化的以下其他主题感兴趣：