控制台中的新增功能 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

控制台中的新增功能

Amazon EMR 已迁移到全新控制台。新控制台更新了界面,您不仅能够以直观方式管理 Amazon EMR 环境,而且能轻松访问文档、产品信息和其他资源。本页介绍旧控制台与 Amazon EMR 新 Amazon Web Services Management Console 在体验方面的重要区别。

我使用的控制台

要确定您目前使用的 Amazon EMR 控制台,请在浏览器中查看控制台页面的 URL:

注意

如果您选择使用旧版控制台,Amazon EMR 会记住您的偏好 8 小时。超过时间限制后,即便是从其他来源访问旧控制台的直接链接,也会转到新控制台。点击新控制台侧面导航栏中的切换到旧控制台链接,您可以继续访问和使用旧控制台。此链接会一直保留到 2023 年 11 月 8 日,直到旧控制台不再可用。

Amazon EMR 控制台功能正在分阶段迁移到新控制台。下表列出了 Amazon EMR 控制台主要组件及其控制台迁移状态。

Amazon EMR 控制台组件 新控制台 旧控制台

EMR Studio1

创建和管理集群

阻止公有访问

监控 Amazon CloudWatch Events

安全配置

虚拟集群(Amazon EMR on EKS)

查看并管理 Amazon Virtual Private Cloud 子网2

Notebooks3

1 EMR Studio 在新旧控制台中都使用了新的界面体验。

2 在新控制台中,您可以创建集群时在 Networking(联网)部分查看和管理 Amazon VPC 子网。在旧控制台中,使用左侧导航栏中的链接访问 Amazon VPC 子网列表。

3 EMR Notebooks 在新控制台中作为 Amazon EMR Studio Workspaces 提供。您仍然可以在旧控制台中使用现有笔记本,但无法在其中创建新笔记本。新控制台中的创建 Workspace 按钮将取代此功能。要访问或创建 Workspaces,EMR Notebooks 用户需要额外的 IAM 角色权限。有关更多信息,请参阅 Amazon EMR Notebooks are Amazon EMR Studio Workspaces in new console(Amazon EMR Notebooks 在新控制台中为 Amazon EMR Studio Workspaces)和 What's new in the console?(控制台中有哪些新功能?)

使用旧控制台

如果您选择使用旧版控制台,Amazon EMR 会记住您的偏好 8 小时。超过时间限制后,即便是从其他来源访问旧控制台的直接链接,也会转到新控制台。点击新控制台侧面导航栏中的切换到旧控制台链接,您可以继续访问和使用旧控制台。此链接会一直保留到 2023 年 11 月 8 日,直到旧控制台不再可用。

差异摘要

本部分概括介绍了 Amazon EMR 旧控制台和 Amazon EMR 新控制台之间的体验差异。差异分为以下几类:

新旧控制台之间的集群兼容性

在某些情况下,您在 Amazon EMR 旧控制台中创建的集群可能与新控制台不兼容。以下列表说明了 Amazon EMR 新控制台的兼容性要求。

  • 新控制台支持在 Amazon EMR 发行版 5.20.1 及更高版本中创建的集群。

  • 您可以在新控制台中克隆使用横向缩减的集群,但如果您想对其进行手动扩展或使用托管扩展,则只能创建新集群。

要创建和使用与新控制台不兼容的集群,您可以使用Amazon Command Line Interface(Amazon CLI)、Amazon SDK 或旧控制台。

创建集群时的差异

下表重点介绍了使用 Amazon EMR 新控制台与 Amazon EMR 旧控制台创建集群时可能会出现的差异。

能力 新控制台 旧控制台

术语:Amazon EMR 集群节点类型

主节点、核心节点、任务节点

主节点、核心节点、任务节点

Amazon EMR 支持的发行版1

Amazon EMR 发行版 5.20.1 及更高版本

所有 Amazon EMR 发行版

快速启动集群

使用 Summary(摘要)面板下的 Create cluster(创建集群)按钮

使用 Create cluster - Quick Options(创建集群 – 快速选项)页面

配置 Spot 预调配超时

定义为集群中的每个实例集预调配实例的超时期限。

创建集群时,您无法自定义预调配超时时间。

服务角色和 Amazon EC2 实例配置文件角色

新控制台不创建默认角色;您必须使用 IAM 控制台创建角色或选择一个已创建的 IAM 角色

支持使用 v1 和 v2 策略创建默认角色,或者您可以选择已创建的 IAM 角色

集群可见性

在 Amazon EMR 控制台中,您无法让集群对所有用户可见;IAM policy 决定了集群访问权限

在 Amazon EMR 控制台中,如果您使用已弃用的 v1 角色创建策略,则可以让集群对所有用户可见

联网 – 配置私有子网

您必须在各自的 Amazon S3Amazon VPC 控制台中配置 Amazon S3 端点和 NAT 网关

您可以直接从旧控制台的 Create cluster(创建集群)工作流配置 Amazon S3 端点和 NAT 网关

EMR 文件系统一致视图(EMRFS CV)

Amazon S3 已于 2020 年 12 月 1 日发布强大的先写后读一致性,您无需对 EMR 集群使用 EMRFS CV

EMRFS CV 已启用,但您可以关闭 EMRFS CV 并删除其所使用的 Amazon DynamoDB 数据库;有关更多信息,请参阅一致视图

调试

您可以使用集群详细信息页面上的应用程序 UI 界面调试任务

您可以使用调试程序工具 [advanced options(高级选项)中的步骤 3],为在 Amazon EMR 发行版 4.1.0 到 5.27.0 上运行的集群调试任务

1 您无法在新控制台中使用早于 Amazon EMR 5.20.1 的发行版创建或编辑集群,但使用早于 5.20.1 的发行版创建的任何现有集群将继续运行。要使用早于 5.20.1 的 Amazon EMR 发行版创建和编辑集群,请使用 API 或 CLI,或切换回旧控制台。

列出和搜索集群时的差异

下表重点介绍了使用 Amazon EMR 新控制台与 Amazon EMR 旧控制台在列表视图中查看和搜索集群详细信息时可能会出现的差异。

注意

对于旧控制台和新控制台,当您对集群列表应用数据筛选条件时,它会查询整个数据库。但是,当您在搜索框中输入文本字符串时,搜索仅适用于列表已加载客户端的结果。

能力 新控制台 旧控制台

查看集群详细信息

您可以选择 Cluster ID(集群 ID)来查看详尽的集群详细信息,例如配置选项、持久性应用程序 UI 和日志。

您可以展开和折叠每个集群行以查看配置详细信息等信息,并访问集群监控和日志的链接。

搜索集群

使用单个搜索字段输入文本搜索查询,创建并应用数据筛选条件,如“Status = Any active status”(状态=任何活动状态)。

使用下拉列表细化集群的状态(活动、已终止、失败),并使用单独的字段输入文本搜索查询。

查找失败的集群

要搜索失败的集群,请应用筛选条件 Status(状态)= Terminated with errors(已终止但有错误)。

要搜索失败的集群,请应用筛选条件 Failed clusters(失败的集群)。

查看或编辑集群详细信息时的差异

下表重点介绍了使用 Amazon EMR 新控制台与 Amazon EMR 旧控制台查看或编辑现有集群详细信息时可能会出现的差异。

能力 新控制台 旧控制台

查看实例组和实例集中的实例,以及扩展、预配置、调整大小和终止选项

实例选项卡中查看实例的选项和详细信息。在属性选项卡中查看终止选项。

硬件选项卡中查看实例配置和终止选项。

查看应用程序 UI、日志和配置

Apache Spark UI、Spark 历史记录服务、Apache Tez UI、YARN 时间线服务器)

配置选项卡中查看集群配置。您可以启动实时、持久性应用程序 UI,从应用程序选项卡查看应用程序的日志。

配置选项卡中查看集群配置。您可以启动实时、持久性应用程序 UI,从应用程序用户界面选项卡查看应用程序的日志。自 2023 年 1 月 23 日起,高级应用程序历史记录不再可用。

将集群导出到 CL

集群详细信息和列表视图“操作”菜单中可用的选项为“查看适用于克隆集群的命令”

集群列表视图“操作”菜单中可用的选项为“Amazon CLI 导出”

使用安全配置时的差异

下表重点介绍了使用 Amazon EMR 新控制台与 Amazon EMR 旧控制台配置安全选项时可能出现的差异。

能力 新控制台 旧控制台

克隆安全配置

使用 Trino 和 Apache Ranger 进行联合治理

使用运行时角色将工作提交到集群1

授予对 EMR 文件系统(EMRFS)数据的访问权限

Amazon S3 接入点

Amazon Identity and Access Management(IAM)角色

Amazon Lake Formation 访问控制

运行时角色

SAML 联合身份验证

1 要在步骤提交期间传递角色,集群所使用的安全配置必须附加 IAM 权限策略,以便用户只传递批准的角色,并且您的任务可以访问 Amazon EMR 资源。有关更多信息,请参阅Amazon EMR 步骤的运行时角色