为亚马逊 EMR 7.0.0 配置 CloudWatch 代理

1. 在您的 Amazon S3 账户中创建或选择一个存储桶，用于存储指定 CloudWatch 代理指标的配置文件。

2. 使用您指定的首选指标创建 emr-amazon-cloudwatch-agent.json 配置文件。为此，请使用创建 CloudWatch 代理配置文件中介绍的方法之一。有关 CloudWatch 代理配置文件结构的更多信息，请参阅 Amazon CloudWatch 用户指南中的手动创建或编辑 CloudWatch 代理配置文件。

3. 接下来，导航到aws-emr-utilities存储库 GitHub 并下载以下系统指标脚本：

   • install_system_metrics_launcher.sh – 下载然后在后台运行 install_system_metrics.sh 的脚本，以便节点可以完成引导。

   • install_system_metrics.sh – 一种脚本，它等待其运行所在的实例完成引导，然后下载并应用 JSON 文件中的配置。

4. 打开每个 SH 文件并将 my-s3-bucket 替换为步骤 1 中的存储桶的名称。

5. 将一个 JSON 文件和两个 SH 文件上传到 S3 存储桶。

6. 现在，您可以导航到 Amazon EMR 控制台并使用代理创建新集群。 CloudWatch 在左导航窗格中的 EMR on EC2 下，选择集群，然后选择创建集群。

7. 在名称和应用程序部分中，选择 7.0.0 或更高版本的 Amazon EMR 发行版。

8. 在应用程序捆绑包下，选择要安装到集群中的一个或多个应用程序，并在您的选择中包含 Amazon A CloudWatch gent。

9. 在引导操作部分中，选择添加。

   • 对于名称，请插入 install_system_metrics_launcher.sh。

   • 对于脚本位置，请插入 s3://my-s3-bucket/install_system_metrics_launcher.sh。将 my-s3-bucket 替换为 S3 存储桶的路径。

   • 将参数块留为空白。

10. 选择 Add bootstrap action（添加引导操作）。

11. 继续创建集群以满足您的工作负载需求。

1. 在您的 Amazon S3 账户中创建或选择一个存储桶，用于存储指定 CloudWatch 代理指标的配置文件。

2. 接下来，导航到aws-emr-utilities存储库 GitHub 并下载以下脚本：

   • install_app_metrics_launcher.sh – 下载然后在后台运行 install_app_metrics.sh 的脚本，以便节点可以完成引导。

   • install_app_metrics.sh – 一种脚本，它等待其运行所在的实例完成引导，然后下载并应用将在下一步中下来的 YAML 文件中的配置。

3. 打开每个文件并将 my-s3-bucket 替换为步骤 1 中的存储桶的名称。

4. 接下来，下载以下 YAML 映射文件。有关这些 YAML 文件结构的信息，请参阅存储javaagent库中的OpenTelemetry Instrumentation for Java GitHub 。

   • datanode-metrics.yaml – Hadoop DataNode 指标的配置。

   • namenode-metrics.yaml – Hadoop NameNode 指标的配置。

   • nodemanager-metrics.yaml – Yarn NodeManager 指标的配置。

   • resourcemanager-metrics.yaml – Yarn ResourceManager 指标的配置。

5. 将两个 SH 文件和四个 YAML 文件上传到 S3 存储桶。

6. 现在，您可以导航到 Amazon EMR 控制台并使用代理创建新集群。 CloudWatch 在左导航窗格中的 EMR on EC2 下，选择集群，然后选择创建集群。

7. 在名称和应用程序部分中，选择 7.0.0 或更高版本的 Amazon EMR 发行版。

8. 在 “应用程序捆绑包” 下，选择要安装到集群的捆绑包或自定义应用程序组，并在您的选择中加入CloudWatch 代理。

9. 在引导操作部分中，选择添加。

   • 对于名称，请插入 install_app_metrics_launcher.sh。

   • 对于脚本位置，请插入 s3://my-s3-bucket/install_app_metrics_launcher.sh。将 my-s3-bucket 替换为 S3 存储桶的路径。

   • 将参数块留为空白。

10. 选择 Add bootstrap action（添加引导操作）。

11. 继续创建集群以满足您的工作负载需求。

在 EMR 集群上使用 CloudWatch 代理将指标发布到适用于 Prometheus 的亚马逊托管服务

服务策略获得正确权限后，使用以下步骤启动一个集群，该集群使用 CloudWatch 代理向适用于 Prometheus 的亚马逊托管服务发布指标。

1. 使用 Amazon Web Services Management Console 或 Amazon CLI 创建适用于 Prometheus 的亚马逊托管服务工作区。有关更多信息，请参阅《Amazon Managed Service for Prometheus 用户指南》中的创建工作区。

2. 在您的 Amazon S3 账户中创建或选择一个存储桶，该存储桶用于存储将 Amazon Managed Service for Prometheus 指定为云存储的启动文件。

3. 接下来，导航到aws-emr-utilities存储库 GitHub 并下载以下脚本：

   • add_prometheus_endpoint_launcher.sh – 下载然后在后台运行 add_prometheus_endpoint.sh 的脚本，以便节点可以完成引导。

   • add_prometheus_endpoint.sh— 一种脚本，它等待其运行的实例完成引导，然后将 CloudWatch 代理配置为发布到你在启动集群时作为参数提供的亚马逊托管服务 Prometheus 终端节点。

4. 打开每个文件并将 my-s3-bucket 替换为步骤 2 中的存储桶的名称。

5. 使用创建带有add_prometheus_endpoint_launcher.sh引导操作的 EMR 集群。 Amazon CLI 在以下命令中，将 my-s3-bucket 替换为包含引导操作的存储桶，并将 managedpro-remote-write-workspace-url 替换为 Amazon Managed Service for Prometheus 工作区的远程写入端点。请务必指定 emr-7.0.0 或更高版本的 Amazon EMR 发行版标签。

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://my-s3-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

将 Amazon Managed Service for Prometheus 用作 Amazon Managed Grafana 的数据来源

Amazon EMR 将集群指标发布到 Amazon Managed Service for Prometheus 后，您可以按照以下步骤使用 Amazon Managed Grafana 对指标进行可视化：

1. 使用创建亚马逊托管 Grafana 工作空间和具有相应权限的用户。 Amazon Web Services Management Console 有关更多信息，请参阅《Amazon Managed Grafana 用户指南》中的创建工作区。

2. 将 Amazon Managed Service for Prometheus 工作区添加作为 Amazon Managed Grafana 的数据来源。有关更多信息，请参阅《Amazon Managed Grafana 用户指南》中的使用 Amazon 数据来源配置添加 Amazon Managed Service for Prometheus 作为数据来源。