Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

使用 Ganglia 监控 HBase

Ganglia 开源项目是一个可扩展的分布式系统,旨在监控集群和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息,请参阅 http://ganglia.info/。有关结合 Amazon EMR 集群使用 Ganglia 的详细信息,请参阅 Ganglia

在配置了 Ganglia 的情况下启动集群后,您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 还可以将日志文件存储在 /var/log/ganglia/rrds 处的服务器上。如果您配置了集群以将日志文件保存到 Amazon S3 存储桶,Ganglia 日志文件也会保存在那里。

使用 AWS CLI 为 Ganglia 和 HBase 配置集群

  • 使用类似于以下内容的 create-cluster 命令:

    aws emr create-cluster --name "Test cluster" --release-label emr-5.13.0 \ --applications Name=HBase Name=Ganglia --use-default-roles \ --ec2-attributes KeyName=myKey --instance-type m4.large \ --instance-count 3 --use-default-roles

    注意

    如果默认 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在,则会发生错误。请使用 aws emr create-default-roles 命令创建它们,然后重试。

    有关更多信息,请参阅 AWS CLI 中的 Amazon EMR 命令

在 Ganglia Web 界面中查看 HBase 指标

  1. 使用 SSH 隧道进入主节点并创建安全连接。有关更多信息,请参阅 Amazon EMR 管理指南 中的选项 2 第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道

  2. 使用代理工具 (如 Firefox 的 FoxyProxy 插件) 安装 Web 浏览器,为 AWS 域创建 SOCKS 代理。有关更多信息,请参阅 Amazon EMR 管理指南 中的选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站

  3. 通过设置代理和打开 SSH 连接,您可以打开浏览器窗口,通过 http://master-public-dns-name/ganglia/ 查看 Ganglia 指标,其中 master-public-dns-name 是 HBase 集群中主服务器的公有 DNS 地址。

查看主节点上的 Ganglia 日志文件

  • 如果集群仍在运行,您可以使用 SSH 连接主节点,然后导航到 /var/log/ganglia/rrds 目录来访问日志文件。有关更多信息,请参阅 Amazon EMR 管理指南 中的 使用 SSH 连接到主节点

查看 Amazon S3 上的 Ganglia 日志文件

  • 如果您在启动时配置了集群以将日志文件保存到 Amazon S3,Ganglia 日志文件也会写入到该处。日志会每五分钟写入 Amazon S3 一次,所以最新的日志文件在可用之前可能会出现轻微延迟。有关更多信息,请参阅 查看 HBase 日志文件