Amazon EMR
Amazon EMR 版本指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。请点击 Amazon AWS 入门,可查看中国地区的具体差异

使用 Ganglia 监控 HBase

Ganglia 开源项目是一个可扩展的分布式系统,旨在监控集群和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息,请参阅 http://ganglia.info/。有关将 Ganglia 与 Amazon EMR 集群结合使用的更多信息,请参阅Ganglia

在配置了 Ganglia 的情况下启动集群后,您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 还可以将日志文件存储在 /var/log/ganglia/rrds 处的服务器上。如果您配置了集群以将日志文件保存到 Amazon S3 存储桶,Ganglia 日志文件也会保存在那里。

使用 AWS CLI 为 Ganglia 和 HBase 配置集群

  • 使用 AWS CLI 创建安装了 HBase 和 Ganglia 的集群:

    aws emr create-cluster --name "Test cluster" --release-label emr-5.4.0 \ --applications Name=HBase Name=Ganglia --use-default-roles \ --ec2-attributes KeyName=myKey --instance-type c1.xlarge \ --instance-count 3 --use-default-roles

    如果不使用 --instance-groups 参数指定实例计数,则将启动单个主节点,其余实例将作为核心节点启动。所有节点都使用该命令中指定的实例类型。

    注意

    如果您之前未创建默认 Amazon EMR 服务角色和 Amazon EC2 实例配置文件,请先键入 aws emr create-default-roles 创建它们,然后再键入 create-cluster 子命令。

    有关更多信息,请参阅 AWS CLI 中的 Amazon EMR 命令

在 Ganglia Web 界面中查看 HBase 指标

  1. 使用 SSH 隧道进入主节点并创建安全连接。有关更多信息,请参阅 Amazon EMR 管理指南 中的选项 2 第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道

  2. 使用代理工具 (如 Firefox 的 FoxyProxy 插件) 安装 Web 浏览器,为 AWS 域创建 SOCKS 代理。有关更多信息,请参阅 http://docs.amazonaws.cn/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站

  3. 通过设置代理和打开 SSH 连接,您可以打开浏览器窗口,通过 http://master-public-dns-name/ganglia/ 查看 Ganglia 指标,其中 master-public-dns-name 是 HBase 集群中主服务器的公有 DNS 地址。

查看主节点上的 Ganglia 日志文件

  • 如果集群仍在运行,您可以使用 SSH 连接主节点,然后导航到 /var/log/ganglia/rrds 目录来访问日志文件。有关更多信息,请参阅 Amazon EMR 管理指南 中的 使用 SSH 连接到主节点

查看 Amazon S3 上的 Ganglia 日志文件

  • 如果您在启动时配置了集群以将日志文件保存到 Amazon S3,Ganglia 日志文件也会写入到该处。日志会每五分钟写入 Amazon S3 一次,所以最新的日志文件在可用之前可能会出现轻微延迟。有关更多信息,请参阅 查看 HBase 日志文件