本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 CloudWatch 代理
亚马逊上的亚马逊 CloudWatch 代理EMR是一种可以监控EMR集群中亚马逊EC2实例的工具。您可以存储和查看通过 CloudWatch 代理收集的指标 CloudWatch。有关 CloudWatch 代理的更多信息,请参阅 Amazon CloudWatch 用户指南。
注意
如果您使用其他 Amazon Web Services 服务 方式发布、查询或查看 Amazon CloudWatch 代理指标,则会产生额外费用。有关更多定价信息,请参阅以下页面。
这些指标与 Amazon 在Amazon/ElasticMapReduce
命名空间下EMR提供的免费指标是分开的 CloudWatch。有关 CloudWatch 代理未发布的指标的更多信息,请参阅使用监控 Amazon EMR 指标 CloudWatch。
在 Amazon EMR 7.0 及更高版本中,您可以在集群上安装自定义版本的 Amazon CloudWatch 代理,以收集EMR集群中的指标。代理从集群中的所有节点收集指标,在主节点上收集这些指标,然后将指标从该节点发布到云端。
您可以在控制台中创建新集群时安装代理,也可以在使用时安装代理create-cluster
API。有关更多信息,请参阅 创建使用 Amazon CloudWatch 代理的EMR集群。默认情况下,运行 7.x 版系列的 Amazon EMR 集群以 60 秒的间隔向 CloudWatch 发布 34 个系统级指标,但您可以将代理配置为发布不同的指标。另一种选择是将指标发布到适用于 Prometheus 的亚马逊托管服务,您也可以选择发布哪些指标。对于不同的用例和设置,您可以将代理配置为在 CloudWatch 控制台、Amazon Managed Grafana 中或通过 for 或 Amazon Prometheus 托管APIs服务 CloudWatch 查看和查询指标。当您使用它们来存储和查询指标时,它们会 Amazon Web Services 服务 产生费用。
Amazon 上的 CloudWatch 代理EMR可以在您的 Amazon EMR 集群上发布系统JMX指标以及以下服务的指标。
-
Hadoop DataNode
-
Hadoop NameNode
-
纱线 NodeManager
-
纱线 ResourceManager
-
HBaseMaster — 仅限亚马逊 EMR 7.1+
-
HBase RegionServer — 仅限亚马逊 EMR 7.1+
-
HBase ThriftServer — 仅限亚马逊 EMR 7.1+
有关可用指标以及如何在亚马逊上配置 CloudWatch 代理的更多信息EMR,请参阅为亚马逊配置 CloudWatch 代理EMR。
下表列出了最新版本的 Amazon EMR 7.x 系列中 AmazonCloudWatchAgent 包含的版本以及亚马逊随之EMR安装的组件。 AmazonCloudWatchAgent
有关此版本 AmazonCloudWatchAgent 中安装的组件的版本,请参阅 7.3.0 版组件版本。
AmazonCloudWatchAgent emr-7.3.0 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发布标签 | AmazonCloudWatchAgent 版本 | 安装在一起的组件 AmazonCloudWatchAgent | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-7.3.0 |
AmazonCloudWatchAgent 1.300032.2 |
adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |