使用控制台管理 Amazon EMR 集群 - Amazon EMR
控制台功能差异摘要
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用控制台管理 Amazon EMR 集群

控制台更新了界面，您不仅能够以直观方式管理 Amazon EMR 环境，而且能轻松访问文档、产品信息和其他资源。

控制台功能

Amazon EMR 控制台可通过以下 URL 访问：

下表列出了主要 Amazon EMR 控制台组件状态。

Amazon EMR 控制台组件 控制台

EMR Studio

✔

创建和管理集群

✔

阻止公有访问

✔

监控 Amazon CloudWatch Events

✔

安全配置

 ✔

虚拟集群（Amazon EMR on EKS）

✔
查看和管理 Amazon Virtual Private Cloud 子网1 ✔

笔记本2

 ✔

1 在控制台中，您可以在创建集群时在联网部分查看和管理 Amazon VPC 子网。

2 EMR Notebooks 在控制台中作为 Amazon EMR Studio Workspaces 提供。通过控制台中的创建工作区按钮，可以创建新的笔记本。要访问或创建 Workspaces，EMR Notebooks 用户需要额外的 IAM 角色权限。有关更多信息，请参阅 Amazon EMR Notebooks 是控制台中的 Amazon EMR Studio Workspaces 和 Amazon EMR 控制台。

差异摘要

本节概述了 Amazon EMR 控制台体验的功能。这些功能分为以下几类：

控制台中的集群兼容性

在某些情况下，您创建的集群可能与控制台不兼容。以下列表说明了 Amazon EMR 控制台的兼容性要求。

  • 控制台支持在 Amazon EMR 5.20.1 及更高版本中创建的集群。

  • 您可以在控制台中克隆使用横向缩减的集群，但如果您想对其进行手动扩展或使用托管扩展，则只能创建新集群。

要创建和使用 5.20.1 及更早版本的集群，可以使用 Amazon Command Line Interface（Amazon CLI）或 Amazon SDK。

创建集群

能力 控制台

术语：Amazon EMR 集群节点类型

主节点、核心节点、任务节点

Amazon EMR 支持的发行版1

Amazon EMR 发行版 5.20.1 及更高版本

快速启动集群

使用摘要面板下的创建集群按钮。集群名称不能包含字符 <、>、$、| 或 `（反引号）。

配置 Spot 预调配超时

定义为集群中的每个实例集预调配实例的超时期限。

服务角色和 Amazon EC2 实例配置文件角色

控制台不会创建默认角色；您必须使用 IAM 控制台创建角色，或选择已创建的 IAM 角色

集群可见性

 在 Amazon EMR 控制台中，您无法让集群对所有用户可见；IAM policy 决定了集群访问权限

联网 – 配置私有子网

 您必须在各自的 Amazon S3 和 Amazon VPC 控制台中配置 Amazon S3 端点和 NAT 网关

EMR 文件系统一致视图（EMRFS CV）

Amazon S3 已于 2020 年 12 月 1 日发布强大的先写后读一致性，您无需对 EMR 集群使用 EMRFS CV

调试

 您可以使用集群详细信息页面上的应用程序 UI 界面调试任务

1 您无法在控制台中使用早于 Amazon EMR 5.20.1 的发行版创建或编辑集群，但使用早于 5.20.1 的发行版创建的任何现有集群将继续运行。要使用早于 5.20.1 的 Amazon EMR 发行版创建和编辑集群，请使用 API 或 CLI。您可以使用控制台查看所有集群，但早于 5.20.1 创建的控制台可能不兼容新功能。

查看和搜索集群

下表重点介绍了如何使用 Amazon EMR 控制台查看和搜索集群。

注意

对集群列表应用数据筛选条件会查询整个数据库。但是，当您在搜索框中输入文本字符串时，搜索仅适用于列表已加载客户端的结果。

能力 控制台

查看集群详细信息

您可以选择 Cluster ID（集群 ID）来查看详尽的集群详细信息，例如配置选项、持久性应用程序 UI 和日志。

搜索集群

使用单个搜索字段输入文本搜索查询，创建并应用数据筛选条件，如“Status = Any active status”（状态=任何活动状态）。

查找失败的集群

要搜索失败的集群，请应用筛选条件 Status（状态）= Terminated with errors（已终止但有错误）。

查看或编辑集群详细信息

能力 控制台

查看实例组和实例集中的实例，以及扩展、预配置、调整大小和终止选项

在实例选项卡中查看实例的选项和详细信息。在属性选项卡中查看终止选项。

查看应用程序 UI、日志和配置

（Apache Spark UI、Spark 历史记录服务、Apache Tez UI、YARN 时间线服务器）

在配置选项卡中查看集群配置。您可以启动实时、持久性应用程序 UI，从应用程序选项卡查看应用程序的日志。

将集群导出到 CL

集群详细信息和列表视图“操作”菜单中可用的选项为“查看适用于克隆集群的命令”

使用安全配置时的差异

能力 控制台

克隆安全配置

✔

使用 Trino 和 Apache Ranger 进行联合治理

✔

使用运行时角色将工作提交到集群1

✔

授予对 EMR 文件系统（EMRFS）数据的访问权限

Amazon S3 接入点

Amazon Lake Formation 访问控制

运行时角色

1 要在步骤提交期间传递角色，集群所使用的安全配置必须附加 IAM 权限策略，以便用户只传递批准的角色，并且您的任务可以访问 Amazon EMR 资源。有关更多信息，请参阅 Amazon EMR 步骤的运行时角色。