Amazon CloudWatch 代理
Amazon EMR 上的 Amazon CloudWatch 代理是一种可以监控 EMR 集群中的 Amazon EC2 实例的工具。您可以在 CloudWatch 中存储和查看使用 CloudWatch 代理收集的指标。有关 CloudWatch 代理的更多信息,请参阅 Amazon CloudWatch 用户指南。
注意
如果您使用其他 Amazon Web Services 服务 发布、查询或查看 Amazon CloudWatch 代理指标,则会产生额外费用。有关更多定价信息,请参阅以下页面。
这些指标与 Amazon EMR 在 CloudWatch 中的 Amazon/ElasticMapReduce 命名空间下提供的免费指标是分开的。有关 CloudWatch 代理未发布的指标的更多信息,请参阅使用 CloudWatch 监控 Amazon EMR 指标。
在 Amazon EMR 7.0 及更高版本中,您可以在集群上安装自定义版本的 Amazon CloudWatch 代理,从 EMR 集群收集指标。EMR 7.6 及更高版本的运行时角色集群支持 CloudWatchAgent。代理从集群中的所有节点收集指标,在主节点上收集这些指标,然后将该节点的指标发布到云中。
当您在控制台中创建新集群或使用 create-cluster API 时,您可以安装代理。有关更多信息,请参阅 创建使用 Amazon CloudWatch 代理的 EMR 集群。默认情况下,运行发行版 7.x 系列的 Amazon EMR 集群每隔 60 秒向 CloudWatch 发布 34 个系统级指标,但您可以配置代理来发布不同的指标。另一种选择是向 Amazon Managed Service for Prometheus 发布指标,您也可以选择发布的指标。对于不同的用例和设置,您可以将代理配置为在 CloudWatch 控制台、Amazon Managed Grafana 中或通过 CloudWatch 或 Amazon Managed Service for Prometheus 的 API 查看和查询指标。当您使用上述方式存储和查询指标时,这些 Amazon Web Services 服务 将会产生费用。
Amazon EMR 上的 CloudWatch 代理可以在 Amazon EMR 集群上发布以下服务的系统指标和 JMX 指标。
-
Hadoop DataNode
-
Hadoop NameNode
-
Yarn NodeManager
-
Yarn ResourceManager
-
HBase Master:仅限 Amazon EMR 7.1+
-
HBase RegionServer:仅限 Amazon EMR 7.1+
-
HBase ThriftServer:仅限 Amazon EMR 7.1+
有关可用指标以及如何在 Amazon EMR 上配置 CloudWatch 代理的更多信息,请参阅为 Amazon EMR 配置 CloudWatch 代理。
下表列出了 Amazon EMR 7.x 系列的最新发行版附带的 AmazonCloudWatchAgent 的版本,以及 Amazon EMR 随 AmazonCloudWatchAgent 一起安装的组件。
有关此发行版中随 AmazonCloudWatchAgent 一起安装的组件版本,请参阅发行版 7.10.0 组件版本。
| Amazon EMR 发行版标签 | AmazonCloudWatchAgent 版本 | 随 AmazonCloudWatchAgent 安装的组件 |
|---|---|---|
emr-7.10.0 |
AmazonCloudWatchAgent 1.300032.2-amzn-0 |
adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |