Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

Ganglia 中的 Hadoop 和 Spark 指标

Ganglia 会为每个实例报告 Hadoop 指标。各种类型的指标按类别添加前缀:分布式文件系统 (dfs.*)、Java 虚拟机 (jvm.*)、MapReduce (mapred.*) 和远程过程调用 (rpc.*)。

基于 YARN 的 Ganglia 指标(如 Spark 和 Hadoop)对于 EMR 版本 4.4.0 和 4.5.0 不可用。要使用这些指标,请使用更高的版本。

Spark 的 Ganglia 指标通常有 YARN 应用程序 ID 和 Spark DAGScheduler 的前缀。前缀遵循以下形式:

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*