使用 Ganglia 监控 HBase - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用 Ganglia 监控 HBase

Ganglia 开源项目是一个可扩展的分布式系统，旨在监控集群和网格，同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时，您可以生成报告并查看整个集群的性能，还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息，请参阅 http://ganglia.info/。有关结合 Amazon EMR 集群使用 Ganglia 的更多信息，请参阅Ganglia。

在配置了 Ganglia 的情况下启动集群后，您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 将日志文件存在主节点上的 /mnt/var/lib/ganglia/rrds/ 目录中。早期版本的 Amazon EMR 可将日志文件存储在 /var/log/ganglia/rrds/ 目录中。

使用 Amazon CLI 为 Ganglia 和 HBase 配置集群

  • 使用类似于以下内容的 create-cluster 命令：

    aws emr create-cluster --name "Test cluster" --release-label emr-5.36.1 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    注意

    如果默认 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在，则会发生错误。请使用 aws emr create-default-roles 命令创建它们，然后重试。

    有关更多信息，请参阅 Amazon CLI 中的 Amazon EMR 命令。

在 Ganglia Web 界面中查看 HBase 指标

  1. 使用 SSH 隧道进入主节点并创建安全连接。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 1 部分：使用动态端口转发设置到主节点的 SSH 隧道。

  2. 使用代理工具 (如 Firefox 的 FoxyProxy 插件) 安装 Web 浏览器，为 Amazon 域创建 SOCKS 代理。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 2 部分：配置代理设置以查看主节点上托管的网站。

  3. 通过设置代理和打开 SSH 连接，您可以打开浏览器窗口，通过 http://master-public-dns-name/ganglia/ 查看 Ganglia 指标，其中 master-public-dns-name 是 HBase 集群中主服务器的公有 DNS 地址。

查看主节点上的 Ganglia 日志文件

  • 如果集群仍在运行，您可以使用 SSH 连接主节点，然后导航到 /mnt/var/lib/ganglia/rrds/ 目录来访问日志文件。对于 EMR 3.x，请导航到 /var/log/ganglia/rrds 目录。有关更多信息，请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

查看 Amazon S3 上的 Ganglia 日志文件

  • 即使您为集群启用日志记录，Ganglia 日志文件也不会自动写入 Amazon S3。要在 Amazon S3 上查看 Ganglia 日志文件，您必须手动将日志从 /mnt/var/lib/ganglia/rrds/ 推送到 S3 存储桶。