使用 Ganglia 监控 HBase - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Ganglia 监控 HBase

Ganglia 开源项目是一个可扩展的分布式系统,旨在监控集群和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息,请参阅 http://ganglia.info/。有关结合 Amazon EMR 集群使用 Ganglia 的更多信息,请参阅Ganglia

在配置了 Ganglia 的情况下启动集群后,您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 将日志文件存储在 /mnt/var/lib/ganglia/rrds/ 目录中的主节点上。早期版本的 Amazon EMR 可将日志文件存储在 /var/log/ganglia/rrds/ 目录中。

使用 AWS CLI 为 Ganglia 和 HBase 配置集群

  • 使用类似于以下内容的 create-cluster 命令:

    aws emr create-cluster --name "Test cluster" --release-label emr-5.32.0 \ --applications Name=HBase Name=Ganglia --use-default-roles \ --ec2-attributes KeyName=myKey --instance-type m5.xlarge \ --instance-count 3
    注意

    如果默认 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在,则会发生错误。请使用 aws emr create-default-roles 命令创建它们,然后重试。

    有关更多信息,请参阅 Amazon EMR 中的 AWS CLI 命令

在 Ganglia Web 界面中查看 HBase 指标

  1. 使用 SSH 隧道到主节点并创建安全连接。有关更多信息,请参阅 https://docs.amazonaws.cn/emr/latest/ManagementGuide/emr-ssh-tunnel.html 中的Amazon EMR 管理指南选项 2 第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道

  2. 使用代理工具 (如 Firefox 的 FoxyProxy 插件) 安装 Web 浏览器,为 AWS 域创建 SOCKS 代理。有关更多信息,请参阅 https://docs.amazonaws.cn/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html 中的Amazon EMR 管理指南选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站

  3. 在设置代理并打开 SSH 连接的情况下,您可以通过打开浏览器窗口并使用 http://master-public-dns-name/ganglia/,其中 master-public-dns-name 是 HBase 群集中主服务器的公有 DNS 地址。

在主节点上查看 Ganglia 日志文件

查看 Amazon S3 上的 Ganglia 日志文件

  • Amazon S3 即使您为集群启用了日志记录,Ganglia 日志文件也不会自动写入 。要在 上查看 Ganglia 日志文件Amazon S3,您必须手动将日志从 推送/mnt/var/lib/ganglia/rrds/到 S3 存储桶。