HBase 使用 Ganglia 进行监控 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

HBase 使用 Ganglia 进行监控

注意

使用 Ganglia 的最后一个 Amazon EMR 版本为 Amazon EMR 6.15.0。为了监控您的集群，6.15.0 以上的版本中包含了 A ma CloudWatch zon 代理。

Ganglia 开源项目是一个可扩展的分布式系统，旨在监控集群和网格，同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时，您可以生成报告并查看整个集群的性能，还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息，请参阅 http://ganglia.info/。有关结合 Amazon EMR 集群使用 Ganglia 的更多信息，请参阅Ganglia。

在配置了 Ganglia 的情况下启动集群后，您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 将日志文件存在主节点上的 /mnt/var/lib/ganglia/rrds/ 目录中。早期版本的 Amazon EMR 可将日志文件存储在 /var/log/ganglia/rrds/ 目录中。

要为 Ganglia 配置集群并 HBase 使用 Amazon CLI

  • 使用类似于以下内容的 create-cluster 命令：

    aws emr create-cluster --name "Test cluster" --release-label emr-7.8.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    注意

    如果默认的 Amazon EMR 服务角色和亚马逊 EC2 实例配置文件不存在，则会发生错误。请使用 aws emr create-default-roles 命令创建它们，然后重试。

    有关更多信息，请参阅 Amazon CLI中的 Amazon EMR 命令。

在 Ganglia 网页界面中查看 HBase 指标

  1. 使用 SSH 隧道进入主节点并创建安全连接。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 1 部分：使用动态端口转发设置到主节点的 SSH 隧道。

  2. 安装带有代理工具（例如 Firefox FoxyProxy 插件）的 Web 浏览器，为 Amazon 域名创建 SOCKS 代理。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 2 部分：配置代理设置以查看主节点上托管的网站。

  3. 设置代理并打开 SSH 连接后，您可以通过打开带有 http: master-public-dns-name //ganglia/ 的浏览器窗口来查看 Ganglia 指标，其中master-public-dns-name是集群中主服务器的公有 DNS 地址。 HBase

查看主节点上的 Ganglia 日志文件

  • 如果集群仍在运行，您可以使用 SSH 连接主节点，然后导航到 /mnt/var/lib/ganglia/rrds/ 目录访问日志文件。对于 EMR 3.x，请导航到 /var/log/ganglia/rrds 目录。有关更多信息，请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

查看 Amazon S3 上的 Ganglia 日志文件

  • 即使您为集群启用日志记录，Ganglia 日志文件也不会自动写入 Amazon S3。要在 Amazon S3 上查看 Ganglia 日志文件，您必须手动将日志从 /mnt/var/lib/ganglia/rrds/ 推送到 S3 存储桶。