亚马逊 EMR 控制台 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 EMR 控制台

该控制台提供了更新的界面,可让您直观地管理您的 Amazon EMR 环境,并允许您方便地访问文档、产品信息和其他资源。

控制台功能

Amazon EMR 控制台可通过以下 URL 获得:

下表列出了 Amazon EMR 控制台的主要组件状态。

Amazon EMR 控制台组件 控制台

EMR Studio

创建和管理集群

阻止公有访问

监控 Amazon CloudWatch 事件

安全配置

虚拟集群(Amazon EMR on EKS)

查看和管理您的亚马逊 Virtual Private Cloud 子网 1

笔记本电脑 2

1 在控制台中,您可以在创建集群时在 “网络” 部分中查看和管理您的 Amazon VPC 子网。

2 EMR Notebooks 可在控制台中作为 EMR Studio 工作区使用。控制台中的 “创建工作区” 按钮允许您创建新的笔记本。要访问或创建 Workspaces,EMR Notebooks 用户需要额外的 IAM 角色权限。有关更多信息,请参阅 Amazon EMR 笔记本是控制台中的 Amazon EMR Studio 工作空间和亚马逊 EMR 控制台。

差异摘要

本节概述了 Amazon EMR 控制台体验的功能。这些功能分为以下几类:

控制台中的集群兼容性

在某些情况下,您创建的集群可能与控制台不兼容。以下列表描述了 Amazon EMR 控制台的兼容性要求。

  • 该控制台支持在 Amazon EMR 5.20.1 及更高版本中创建的集群。

  • 您可以在控制台中克隆使用自动扩展的集群,但只有在需要手动扩展集群或使用托管扩展时,才能创建新集群。

要创建和使用 5.20.1 及更早版本的集群,可以使用 Amazon Command Line Interface (Amazon CLI) 或 SDK。 Amazon

创建集群

能力 控制台

术语:Amazon EMR 集群节点类型

主节点、核心节点、任务节点

Amazon EMR 支持的发行版1

Amazon EMR 发行版 5.20.1 及更高版本

快速启动集群

使用 “摘要” 面板下的 “创建集群” 按钮。您的集群名称不能包含字符 <、>、$、| 或 `(反引号)。

配置 Spot 预调配超时

定义为集群中的每个实例集预调配实例的超时期限。

服务角色和 Amazon EC2 实例配置文件角色

控制台不创建默认角色;您必须使用 IAM 控制台创建角色或选择已创建的 IAM 角色

集群可见性

在 Amazon EMR 控制台中,您无法让集群对所有用户可见;IAM policy 决定了集群访问权限

联网 – 配置私有子网

您必须在各自的 Amazon S3Amazon VPC 控制台中配置 Amazon S3 端点和 NAT 网关

EMR 文件系统一致视图(EMRFS CV)

随着 2020 年 12 月 1 日发布的 Amazon S3 强 read-after-write 一致性,您无需在 EMR 集群中使用 EMRFS 简历

调试

您可以使用集群详细信息页面上的应用程序 UI 界面调试任务

1 您无法在控制台中使用早于 Amazon EMR 5.20.1 的版本创建或编辑集群,但是使用 5.20.1 之前的版本创建的任何现有集群将继续运行。要使用低于 5.20.1 的 Amazon EMR 版本创建和编辑集群,请使用 API 或 CLI。您可以使用控制台查看所有集群,但是在 5.20.1 之前创建的控制台可能不兼容较新的功能。

查看和搜索集群

下表重点介绍了如何使用 Amazon EMR 控制台查看、查看和搜索集群。

注意

对集群列表应用数据筛选器会查询整个数据库。但是,当您在搜索框中输入文本字符串时,搜索仅适用于列表已加载客户端的结果。

能力 控制台

查看集群详细信息

您可以选择 Cluster ID(集群 ID)来查看详尽的集群详细信息,例如配置选项、持久性应用程序 UI 和日志。

搜索集群

使用单个搜索字段输入文本搜索查询,创建并应用数据筛选条件,如“Status = Any active status”(状态=任何活动状态)。

查找失败的集群

要搜索失败的集群,请应用筛选条件 Status(状态)= Terminated with errors(已终止但有错误)。

查看或编辑集群详细信息

能力 控制台

查看实例组和实例集中的实例,以及扩展、预配置、调整大小和终止选项

实例选项卡中查看实例的选项和详细信息。在属性选项卡中查看终止选项。

查看应用程序 UI、日志和配置

Apache Spark UI、Spark 历史记录服务、Apache Tez UI、YARN 时间线服务器)

配置选项卡中查看集群配置。您可以启动实时、持久性应用程序 UI,从应用程序选项卡查看应用程序的日志。

将集群导出到 CL

集群详细信息和列表视图“操作”菜单中可用的选项为“查看适用于克隆集群的命令”

使用安全配置时的差异

能力 控制台

克隆安全配置

使用 Trino 和 Apache Ranger 进行联合治理

使用运行时角色将工作提交到集群1

授予对 EMR 文件系统(EMRFS)数据的访问权限

Amazon S3 接入点

Amazon Lake Formation 访问控制

运行时角色

1 要在步骤提交期间传递角色,集群所使用的安全配置必须附加 IAM 权限策略,以便用户只传递批准的角色,并且您的任务可以访问 Amazon EMR 资源。有关更多信息,请参阅 Amazon EMR 步骤的运行时角色