本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
HBase使用 Ganglia 进行监控
Ganglia 开源项目是一个可扩展的分布式系统,旨在监控集群和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息,请参阅 http://ganglia.info/
在配置了 Ganglia 的情况下启动集群后,您可以使用主节点上运行的图形界面访问 Ganglia 图表和报告。
Ganglia 将日志文件存储在主节点上的/mnt/var/lib/ganglia/rrds/
目录中。Amazon 的早期版本EMR可能会将日志文件存储在/var/log/ganglia/rrds/
目录中。
要为 Ganglia 配置集群并HBase使用 Amazon CLI
-
使用类似于以下内容的
create-cluster
命令:aws emr create-cluster --name "
Test cluster
" --release-labelemr-7.3.0
\ --applications Name=HBase
Name=Ganglia
--use-default-roles \ --ec2-attributes KeyName=myKey
--instance-typem5.xlarge
\ --instance-count3
注意
如果默认的 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在,则会发生错误。请使用
aws emr create-default-roles
命令创建它们,然后重试。有关更多信息,请参阅中的 Amazon EMR 命令 Amazon CLI。
在 Ganglia 网页界面中查看HBase指标
-
SSH用于通过隧道进入主节点并创建安全连接。有关更多信息,请参阅 Amazon EMR 管理指南中的选项 2,第 1 部分:使用动态端口转发设置通往主节点的SSH隧道。
-
安装带有代理工具(例如 Firefox FoxyProxy 插件)的 Web 浏览器,为 Amazon 域名创建SOCKS代理。有关更多信息,请参阅 Amazon EMR 管理指南中的选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站。
-
设置代理并打开SSH连接后,您可以通过 http://打开浏览器窗口来查看 Ganglia 指标
master-public-dns-name
/ganglia/,哪里master-public-dns-name
是HBase集群中主服务器的公共DNS地址。
在主节点上查看 Ganglia 日志文件
-
如果集群仍在运行,则可以使用连接到主节点并导航到该
/mnt/var/lib/ganglia/rrds/
目录来访问日志文件。SSH对于 EMR 3.x,请导航到该/var/log/ganglia/rrds
目录。有关更多信息,请参阅《Amazon EMR 管理指南》SSH中的 “使用连接到主节点”。
查看 Amazon S3 上的 Ganglia 日志文件
-
即使您为集群启用日志记录,Ganglia 日志文件也不会自动写入 Amazon S3。要在 Amazon S3 上查看 Ganglia 日志文件,您必须手动将日志从
/mnt/var/lib/ganglia/rrds/
推送到 S3 存储桶。