创建使用 Amazon CloudWatch 代理的EMR集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建使用 Amazon CloudWatch 代理的EMR集群

本节中的过程描述了使用和中的亚马逊 CloudWatch 代理在 Amaz EMR on 中创建集群 Amazon Web Services Management Console 的步骤 Amazon CLI。

CloudWatch 代理所需的IAM权限

CloudWatch 代理需要亚马逊EC2实例配置文件中的 Amazon Identity and Access Management (IAM) cloudwatch:PutMetricData 权限EMR。Amazon EMR 默认角色已经拥有此权限。您可以使用创建默认角色aws emr create-default-roles。 Amazon CLI 有关更多信息,请参阅 Amazon EMR 管理指南中的集群EC2EC2实例服务角色(实例配置文件)

以下示例IAM策略包括cloudwatch:PutMetricData权限:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

必需的 CloudWatch 代理端点

要向私有子网中的EMR集群发布指标,请创建 CloudWatch 代理终端节点并与私有子网所在VPC的代理终端节点相关联。 CloudWatch

有关每个 CloudWatch 终端节点的更多信息 Amazon Web Services 区域,请参阅《Amazon 通用参考指南》中的 Amazon CloudWatch 终端节点和配额

创建 EMR 集群

设置了与 CloudWatch 代理一起使用的所需权限和终端节点后,使用 Amazon Web Services Management Console 或创建安装了代理的新集群。 Amazon CLI

Console
通过控制台使用 Amazon CloudWatch 代理创建集群
  1. 导航至 Amazon EMR 控制台。

  2. 选择创建集群

  3. 在 “名称和应用程序” 下,选择 Amazon 7.0.0 或更高EMR版本。

  4. 在 “应用程序捆绑包” 下,选择要安装到集群中的一个或多个应用程序,并在您的选择中加入CloudWatch 代理

  5. 继续创建集群以满足您的应用场景需求。

Amazon CLI

在中 Amazon CLI,您可以使用--applications参数将 Amazon CloudWatch 代理添加到集群create-cluster

要使用 Amazon CloudWatch 代理创建集群,请访问 Amazon CLI
  • 创建集群时,使用类似于以下内容的命令来包含 Amazon CloudWatch 代理。myKey替换为您的 EC2 key pair 的名称。

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

有关如何将 Amazon EMR 与配合使用的更多详情 Amazon CLI,请参阅Amazon CLI 命令参考