监控 HBase 和Ganglia - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控 HBase 和Ganglia

Ganglia开源项目是一个可扩展的分布式系统,旨在监控群集和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。港利亚开源项目详情见 http://ganglia.info/. 有关结合 Amazon EMR 集群使用 Ganglia 的更多信息,请参阅Ganglia

在配置了 Ganglia 的情况下启动集群后,您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia将日志文件存储在 /mnt/var/lib/ganglia/rrds/ 目录。早期版本的 Amazon EMR 可将日志文件存储在 /var/log/ganglia/rrds/ 目录中。

要为Ganglia和配置群集 HBase 使用 AWS CLI

  • 使用类似于以下内容的 create-cluster 命令:

    aws emr create-cluster --name "Test cluster" --release-label emr-5.31.0 \ --applications Name=HBase Name=Ganglia --use-default-roles \ --ec2-attributes KeyName=myKey --instance-type m5.xlarge \ --instance-count 3
    注意

    如果默认 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在,则会发生错误。请使用 aws emr create-default-roles 命令创建它们,然后重试。

    有关更多信息,请参阅 AWS CLI 中的 Amazon EMR 命令

查看 HBase GangliaWeb界面中的度量

  1. 使用SSH隧道进入管理节点并创建安全连接。有关更多信息,请参阅 选项2,第1部分: 使用动态端口转发将SSH隧道设置为管理节点 Amazon EMR 管理指南.

  2. 使用代理工具安装Web浏览器,例如 FoxyProxy 用于Firefox的插件,以创建的SOCKS代理 AWS 域。有关更多信息,请参阅 选项2,第2部分: 配置代理设置以查看管理节点上托管的网站Amazon EMR 管理指南.

  3. 在打开代理集和SSH连接的情况下,您可以通过打开http://master-public-dns-name/ganglia/,其中 master-public-dns-name 是主服务器的公共DNS地址,位于 HBase 群集。

要查看管理节点上的Ganglia日志文件

查看 Amazon S3 上的 Ganglia 日志文件

  • Ganglia日志文件不会自动写入 Amazon S3 即使您为群集启用日志记录。要查看上的Ganglia日志文件 Amazon S3,您必须手动将日志从 /mnt/var/lib/ganglia/rrds/ S3桶。