使用 Amazon 监控 EMR HBase CloudWatch - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Amazon 监控 EMR HBase CloudWatch

从 EMR 7.0 开始,亚马逊 EMR 提供 CloudWatch 亚马逊代理,用于向 Prometheus 发送指标,取代 G CloudWatch anglia 监控系统。您可以在《Amazon CloudWatch 代理配置指南》中找到更多详细信息。

EMR 7.0 A CloudWatch mazon 代理提供了基本集成,设置需要手动操作,例如下载组件和使用引导操作。但是,从EMR 7.1开始,该过程得到了简化。在 EMR 7.1 中使用 Amazon A CloudWatch gent 可以轻松监控系统级指标和应用程序特定指标,包括的指标。 HBase通过使用 EMR 配置 API,您可以快速设置和自定义指标收集流程,并选择将数据发送到哪里,可以发送到亚马逊 CloudWatch 或 Prometheus。这种灵活性可以帮助您密切关注 HBase 集群,确保它们平稳高效地运行。

使用 EMR 配置 API 来处理整个设置,使过程更加顺畅。EMR 7.1 中的 CloudWatch 代理支持三种主要的指标类型:

  • 系统指标-这些指标包括系统性能的关键指标,例如:CPU 使用率、磁盘使用率、内存使用率、网络 I/O、进程和交换使用率。

  • Hadoop 守护程序指标 — 这些指标与 Hadoop 的各个组成部分有关,包括: DataNode 指标、指标、YARN 指标和 NameNode YARN NodeManager 指标。 ResourceManager

  • HBase 指标 — 这些指标提供了 HBase对性能的见解: HBase 主指标、 HBase 区域服务器指标、 HBase REST Server 指标和 HBase Thrift Server 指标。

Using the Amazon CLI

Hadoop 和 HBase 的所有指标都基于 JMX,这意味着它们使用 Java 管理扩展来提供详细的见解。您可以通过以下方式进行设置 Amazon CloudWatch 代理进行监控 HBase:

  • 在使用 Amazon A CloudWatch gent 创建集群之前,请参阅先决条件。使用类似于此列表后面显示的示例的create-cluster命令。

  • 请参阅集 HBase 群支持的配置

  • 有关设置 HBase 监控的配置示例,请参阅以下示例。有关--configuration输入,请参阅示例配置。

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \ --release-label emr-7.1.0 \ --applications Name=HBase Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --configurations file://./configurations.json \ --instance-count 3 --use-default-roles

有关指标 JSON 示例配置的更多信息,请参阅设置指标

Using the console

要通过控制台使用 Amazon CloudWatch 代理创建集群,请执行以下步骤:

使用控制台使用 CloudWatch 代理创建集群
  1. 登录并打开 Amazon EMR 控制台,网址为 /emr。 Amazon Web Services Management Console https://console.aws.amazon.com

  2. 选择创建集群

  3. 名称和应用程序下,选择 7.0.0 或更高版本的 Amazon EMR 发行版。

  4. 应用程序捆绑包下 HBase ,选择要安装到集群中的其他应用程序,并在您的选择中包含 CloudWatch 代理。

  5. 展开 “软件设置”。然后,您可以在控制台中使用 JSON 或以阴影文本表示的简写语法直接输入配置。否则,您可以为具有 JSON Configurations 对象的文件提供一个 Amazon S3 URI。有关指标 JSON 示例配置的更多信息,请参阅设置指标

  6. 继续创建集群以满足您的应用场景需求。