创建使用 Amazon 代理的 EMR 集群 CloudWatch - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建使用 Amazon 代理的 EMR 集群 CloudWatch

本节中的过程描述了使用和中的亚马逊 CloudWatch 代理在 Amazon EMR 中创建集群 Amazon Web Services Management Console 的步骤。 Amazon CLI

CloudWatch 代理所需的 IAM 权限

CloudWatch 代理需要亚马逊 EMR 的 Amazon EC2 实例配置文件中的 Amazon Identity and Access Management (IAM) cloudwatch:PutMetricData 权限。Amazon EMR 的默认角色已经拥有此权限。您可以使用创建默认角色aws emr create-default-roles。 Amazon CLI 如需了解更多信息,请参阅《Amazon EMR 管理指南》中的集群 EC2 实例的服务角色(EC2 实例配置文件)

以下示例 IAM policy 包括 cloudwatch:PutMetricData 权限:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

必需的 CloudWatch 代理端点

要向私有子网中的 EMR 集群发布指标,请创建 CloudWatch 代理终端节点并与私有子网所在的 VPC 关联。 CloudWatch

有关每个 CloudWatch 终端节点的更多信息 Amazon Web Services 区域,请参阅《Amazon 通用参考指南》中的 Amazon CloudWatch 终端节点和配额

创建 EMR 集群

设置了与 CloudWatch 代理一起使用的所需权限和终端节点后,使用 Amazon Web Services Management Console 或创建安装了代理的新集群。 Amazon CLI

Console
通过控制台使用 Amazon CloudWatch 代理创建集群
  1. 导航到 Amazon EMR 控制台。

  2. 选择创建集群

  3. 名称和应用程序下,选择 7.0.0 或更高版本的 Amazon EMR 发行版。

  4. 在 “应用程序捆绑包” 下,选择要安装到集群中的一个或多个应用程序,并在您的选择中加入CloudWatch 代理

  5. 继续创建集群以满足您的应用场景需求。

Amazon CLI

在中 Amazon CLI,您可以使用--applications参数将 Amazon CloudWatch 代理添加到集群create-cluster

要使用 Amazon CloudWatch 代理创建集群,请访问 Amazon CLI
  • 创建集群时,使用类似于以下内容的命令来包含 Amazon CloudWatch 代理。将 myKey 替换为您的 EC2 密钥对的名称。

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

有关如何将 Amazon EMR 与配合使用的更多详细信息 Amazon CLI,请参阅Amazon CLI 命令参考。