Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅
中国的 Amazon Web Services 服务入门
(PDF)。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用亚马逊监控 EMR HBase CloudWatch
从 EMR 7.0 开始,亚马逊 EMR 提供 CloudWatch 亚马逊代理,用于向 Prometheus 发送指标,取代 G CloudWatch anglia 监控系统。您可以在《Amazon CloudWatch 代理配置指南》中找到更多详细信息。
EMR 7.0 A CloudWatch mazon 代理提供了基本集成,设置需要手动操作,例如下载组件和使用引导操作。但是从 EMR 7.1 开始,该过程得到了简化。在 EMR 7.1 中使用 Amazon A CloudWatch gent 可以轻松监控系统级指标和应用程序特定指标,包括 HBase 的指标。通过使用 EMR 配置 API,您可以快速设置和自定义指标收集流程,并选择将数据发送到哪里,可以发送到亚马逊 CloudWatch 或 Prometheus。这种灵活性有助于您密切关注 HBase 集群,确保它们平稳高效地运行。
使用 EMR 配置 API 处理整个设置,使过程更加顺畅。EMR 7.1 中的 CloudWatch 代理支持三种主要的指标类型:
系统指标-这些指标包括系统性能的关键指标,例如:CPU 使用率、磁盘使用率、内存使用率、网络 I/O、进程和交换使用率。
Hadoop 守护程序指标 — 这些指标与 Hadoop 的各个组成部分有关,包括: DataNode 指标、指标、YARN 指标和 NameNode YARN NodeManager 指标。 ResourceManager
HBase 指标:这些指标提供了有关 HBase 性能的见解:HBase Master 指标、HBase Region Server 指标、HBase REST Server 指标和 HBase Thrift Server 指标。
- Using the Amazon CLI
-
Hadoop 和 HBase 的所有指标都是 JMX-based,这意味着它们使用 Java 管理扩展来提供详细的见解。您可以通过以下方式设置 Amazon A CloudWatch gent 来监控 HBase:
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
有关指标的 JSON 示例配置的更多信息,请参阅设置指标。
- Using the console
-
要通过控制台使用 Amazon CloudWatch 代理创建集群,请执行以下步骤:
通过控制台使用 CloudWatch 代理创建集群
-
登录并打开 Amazon EMR 控制台,网址为。 Amazon Web Services 管理控制台https://console.aws.amazon.com/emr
-
选择创建集群。
-
在名称和应用程序下,选择 7.0.0 或更高版本的 Amazon EMR 发行版。
在 “应用程序包” 下,选择 HBase 和其他要安装到集群中的应用程序,并在您的选择中加入 CloudWatch 代理。
展开软件设置。然后,您可以在控制台中使用 JSON 或以阴影文本表示的简写语法直接输入配置。否则,您可以为具有 JSON Configurations 对象的文件提供一个 Amazon S3 URI。有关指标的 JSON 示例配置的更多信息,请参阅设置指标。
继续创建集群以满足您的应用场景需求。