创建使用 Amazon 代理的 EMR 集群 CloudWatch - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建使用 Amazon 代理的 EMR 集群 CloudWatch

本部分中的过程描述了使用和中的 Amazon CloudWatch 代理在 Amazon EMR 中创建集群 Amazon Web Services Management Console 的步骤。 Amazon CLI

CloudWatch 代理所需的 IAM 权限

CloudWatch 代理需要亚马逊 EM Amazon Identity and Access Management R 的亚马逊 EC2 实例配置文件中的 (IAM) cloudwatch:PutMetricData 权限。Amazon EMR 的默认角色已经拥有此权限。您可以使用创建默认角色aws emr create-default-roles。 Amazon CLI 有关更多信息,请参阅 Amazon EMR 管理指南中的集群 EC2 EC2 实例服务角色(实例配置文件)

以下示例 IAM policy 包括 cloudwatch:PutMetricData 权限:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

所需 CloudWatch 代理端点

要在私有子网中将 CloudWatch 指标发布到 EMR 集群的指标,请创建 CloudWatch 代理端点并与私有子网所在的 VPC 关联。

有关每个 CloudWatch 终端节点的更多信息 Amazon Web Services 区域,请参阅《Amazon 通用参考指南》中的 Amazon CloudWatch 终端节点和配额

创建 EMR 集群

设置了与 CloudWatch 代理结合使用的所需权限和端点后,使用 Amazon Web Services Management Console 或在安装了 Amazon CLI 代理的情况下创建新集群。

Console
要通过控制台使用 Amazon CloudWatch 代理创建集群
  1. 导航到 Amazon EMR 控制台。

  2. 选择创建集群

  3. 名称和应用程序下,选择 7.0.0 或更高版本的 Amazon EMR 发行版。

  4. 应用程序捆绑包下,选择要安装到集群中的捆绑包或应用程序,并在您的选择中包含CloudWatch 代理

  5. 继续创建集群以满足您的应用场景需求。

Amazon CLI

在中 Amazon CLI,您可以使用--applications参数将 Amazon CloudWatch 代理添加到集群create-cluster

要使用 Amazon CloudWatch 代理创建集群,请访问 Amazon CLI
  • 创建集群时,使用类似于以下内容的命令将 Amazon CloudWatch 代理包括在内。myKey替换为您的 EC2 kepar 的名称。

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

有关如何将 Amazon EMR 与配合使用的更多详细信息 Amazon CLI,请参阅《Amazon CLI 命令参考》。