亚马逊 CloudWatch 代理 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 CloudWatch 代理

亚马逊上的亚马逊 CloudWatch 代理EMR是一种可以监控EMR集群中亚马逊EC2实例的工具。您可以存储和查看通过 CloudWatch 代理收集的指标 CloudWatch。有关 CloudWatch 代理的更多信息,请参阅 Amazon CloudWatch 用户指南

注意

如果您使用其他 Amazon Web Services 服务 方式发布、查询或查看 Amazon CloudWatch 代理指标,则会产生额外费用。有关更多定价信息,请参阅以下页面。

这些指标与 Amazon 在Amazon/ElasticMapReduce命名空间下EMR提供的免费指标是分开的 CloudWatch。有关 CloudWatch 代理未发布的指标的更多信息,请参阅使用监控 Amazon EMR 指标 CloudWatch

在 Amazon EMR 7.0 及更高版本中,您可以在集群上安装自定义版本的 Amazon CloudWatch 代理,以收集EMR集群中的指标。代理从集群中的所有节点收集指标,在主节点上收集这些指标,然后将指标从该节点发布到云端。

您可以在控制台中创建新集群时安装代理,也可以在使用时安装代理create-clusterAPI。有关更多信息,请参阅 创建使用 Amazon CloudWatch 代理的EMR集群。默认情况下,运行 7.x 版系列的 Amazon EMR 集群以 60 秒的间隔向 CloudWatch 发布 34 个系统级指标,但您可以将代理配置为发布不同的指标。另一种选择是将指标发布到适用于 Prometheus 的亚马逊托管服务,您也可以选择发布哪些指标。对于不同的用例和设置,您可以将代理配置为在 CloudWatch 控制台、Amazon Managed Grafana 中或通过 for 或 Amazon Prometheus 托管APIs服务 CloudWatch 查看和查询指标。当您使用它们来存储和查询指标时,它们会 Amazon Web Services 服务 产生费用。

Amazon 上的 CloudWatch 代理EMR可以在您的 Amazon EMR 集群上发布系统JMX指标以及以下服务的指标。

  • Hadoop DataNode

  • Hadoop NameNode

  • 纱线 NodeManager

  • 纱线 ResourceManager

  • HBaseMaster — 仅限亚马逊 EMR 7.1+

  • HBase RegionServer — 仅限亚马逊 EMR 7.1+

  • HBase ThriftServer — 仅限亚马逊 EMR 7.1+

有关可用指标以及如何在亚马逊上配置 CloudWatch 代理的更多信息EMR,请参阅为亚马逊配置 CloudWatch 代理EMR

下表列出了最新版本的 Amazon EMR 7.x 系列中 AmazonCloudWatchAgent 包含的版本以及亚马逊随之EMR安装的组件。 AmazonCloudWatchAgent

有关此版本 AmazonCloudWatchAgent 中安装的组件的版本,请参阅 7.3.0 版组件版本

AmazonCloudWatchAgent emr-7.3.0 的版本信息
Amazon EMR 发布标签 AmazonCloudWatchAgent 版本 安装在一起的组件 AmazonCloudWatchAgent

emr-7.3.0

AmazonCloudWatchAgent 1.300032.2

adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server