Ganglia 中的 Hadoop 和 Spark 指标
Ganglia 报告每个实例的 Hadoop 指标。各种类型的指标按类别作为前缀:分布式文件系统(dfs.*)、Java 虚拟机(jvm.*)、MapReduce(jvm.*)和远程过程调用(rpc.*)。
基于 YARN 的 Ganglia 指标(如 Spark 和 Hadoop)对于 EMR 发行版 4.4.0 和 4.5.0 不可用。利用更高版本来使用这些指标。
Ganglia 中的 Spark 指标通常具有 YARN 应用程序 ID 和 Spark DAGScheduler 的前缀。前缀遵循以下形式:
-
DAGScheduler.*
-
application_xxxxxxxxxx_xxxx.driver.*
-
application_xxxxxxxxxx_xxxx.executor.*