将集群附加到 Workspace - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

将集群附加到 Workspace

Amazon EMR Studio 使用 EMR 集群上的内核运行笔记本命令。在选择内核之前,您应将 Workspace 附加到使用 Amazon EC2 实例的集群,或附加到 EMR on EKS 集群。EMR Studio 允许您将 Workspaces 附加到新的或现有的集群,并让您无需关闭 Workspace 即可灵活地更改集群。

将正在运行的集群附加到 Workspace 以运行笔记本

您可以在创建 Workspace 时将在 Amazon EC2 上运行的现有 EMR 集群附加到 Workspace,也可以从 Workspace 用户界面中选择一个集群。如果您要创建和附加集群,请参阅为 Workspace 创建新的 EMR 集群

Create a Workspace dialog box

在创建 Workspace 时附加正在运行的集群

  1. Create a Workspace (创建 Workspace) 对话框中,确保您已经为新 Workspace 选择了子网。展开 Advanced configuration (高级配置) 部分。

  2. 选择 Attach Workspace to an EMR cluster (将 Workspace 附加到 EMR 集群)

  3. EMR cluster (EMR 集群) 下拉列表中,选择现有 EMR 集群以将其附加到 Workspace。下拉列表显示了与 Workspace 位于同一子网中的集群。

附加集群后,您可以完成 Workspace 创建过程。当您第一次打开新 Workspace 并选择 EMR Clusters (EMR 集群) 面板时,您应该会看到您选择的集群已附加。

Workspace UI

从 Workspace 用户界面附加正在运行的集群

  1. 在要附加到集群的 Workspace 中,从左侧边栏中选择 EMR Clusters (EMR 集群) 图标以打开 Cluster (集群) 面板。

  2. Cluster type (集群类型) 下,展开下拉列表并选择 EMR Cluster on EC2 (EC2 上的 EMR 集群)

  3. 从下拉列表中选择一个集群。下拉列表显示与 Workspace 具有相同子网的所有集群。您可能需要先分离现有集群才能启用集群选择下拉列表。

  4. 选择 Attach (附加)。附加集群后,您应该会看到一条成功消息。

使用 Amazon EMR on EKS 集群运行笔记本代码

除了使用在 Amazon EC2 上运行的 Amazon EMR 集群之外,您还可以将 Workspace 附加到 Amazon EMR on EKS 集群以运行笔记本代码。有关 EMR on EKS 的更多信息,请参阅什么是 Amazon EMR on EKS

在您将 Workspace 连接到 EMR on EKS 集群之前,您的 Studio 管理员必须授予您访问权限。

Create a Workspace dialog box

在创建 Workspace 时附加 EMR on EKS 集群

  1. Create a Workspace (创建 Workspace) 对话框中,确保您已经为新 Workspace 选择了子网。展开 Advanced configuration (高级配置) 部分。

  2. 选择 Attach Workspace to an EMR on EKS cluster (将 Workspace 附加到 EMR on EKS 集群)

  3. EMR on EKS cluster (EMR on EKS 集群) 下,从下拉列表中选择集群。下拉列表显示了与 Workspace 位于同一子网中的集群。

  4. Select an endpoint (选择终端节点) 下,选择要附加到 Workspace 的托管式终端节点。托管式终端节点是允许 EMR Studio 与您选择的集群进行通信的网关。

  5. 选择 Create Workspace (创建 Workspace) 完成 Workspace 创建过程并附加选定的集群。

附加集群后,您可以完成 Workspace 创建过程。当您第一次打开新 Workspace 并选择 EMR Clusters (EMR 集群) 面板时,您应该会看到您选择的集群已附加。

Workspace UI

从 Workspace 用户界面附加 EMR on EKS 集群

  1. 在要附加到集群的 Workspace 中,从左侧边栏中选择 EMR Clusters (EMR 集群) 图标以打开 Cluster (集群) 面板。

  2. 展开 Cluster type (集群类型) 下拉列表并选择 EMR clusters on EKS (EKS 上的 EMR 集群)

  3. EMR cluster on EKS (EKS 上的 EMR 集群) 下,从下拉列表中选择集群。下拉列表中显示的所有集群都与 Workspace 位于同一子网中,并且已设置为与 EMR Studio 配合使用。

  4. Endpoint (终端节点) 下,选择要附加到 Workspace 的托管式终端节点。托管式终端节点是允许 EMR Studio 与您选择的集群进行通信的网关。

  5. 选择 Attach (附加)。附加集群后,您应该会看到一条成功消息。

为 Workspace 创建新的 EMR 集群

高级 EMR Studio 用户可以预置在 Amazon EC2 上运行的新 EMR 集群,以便与 Workspace 一起使用。当您使用 EMR Studio 创建新的 EMR 集群时,该集群将在与 Workspace 相同的子网中启动。新集群还默认安装了 EMR Studio 所需的所有大数据应用程序。

要创建集群,您的 Studio 管理员必须首先使用会话策略授予您权限。有关更多信息,请参阅 为 EMR Studio 用户创建权限策略

您可以在 Create a Workspace (创建 Workspace) 对话框中或从 Workspace UI 的 Cluster (集群) 面板中创建新集群。无论哪种方式,您都有两个集群创建选项:

  1. Create an EMR cluster (创建 EMR 集群) – 通过选择 Amazon EC2 实例类型和数量来创建 EMR 集群。

  2. Use a cluster template (使用集群模板) – 通过选择预定义的集群模板预置集群。当您拥有使用集群模板的权限时,才会显示此选项。

通过提供集群配置创建 EMR 集群

  1. 选择一个起点。

    要... 请执行此操作...
    使用 Create a Workspace (创建 Workspace) 对话框在创建 Workspace 时创建集群。 展开 Create a Workspace (创建 Workspace) 对话框中的 Advanced configuration (高级配置) 部分,然后选择 Create an EMR cluster (创建 EMR 集群)
    创建 Workspace 后,从 Workspace UI 中的 EMR 集群面板创建集群。 选择打开的 Workspace 左侧边栏中的 EMR Clusters (EMR 集群) 选项卡,展开 Advanced configuration (高级配置) 部分,然后选择 Create cluster (创建集群)
  2. 输入 Cluster name (集群名称)。命名集群有助于您稍后在 EMR Studio 集群列表中找到它。

  3. 对于 EMR release (EMR 版本),为集群选择一个 EMR 发行版。

  4. 对于 Instance (实例),为集群选择 Amazon EC2 实例的类型和数量。有关选择实例类型的更多信息,请参阅配置 Amazon EC2 实例。一个实例将用作主节点 (master node)。

  5. 选择用于日志存储的 S3 URI

  6. 选择 Create EMR cluster (创建 EMR 集群) 来预置集群。如果您使用 Create a Workspace (创建 Workspace) 对话框,请选择 Create Workspace (创建 Workspace) 来创建 Workspace 并预置集群。EMR Studio 预置新集群后,它会将集群附加到 Workspace。

使用集群模板创建集群

  1. 选择一个起点。

    要... 请执行此操作...
    使用 Create a Workspace (创建 Workspace) 对话框在创建 Workspace 时创建集群。 展开 Create a Workspace (创建 Workspace) 对话框中的 Advanced configuration (高级配置) 部分,然后选择 Use a cluster template (使用集群模板)
    从 Workspace UI 中的 EMR 集群面板创建集群。 选择打开的 Workspace 左侧边栏中的 EMR Clusters (EMR 集群) 选项卡,展开 Advanced configuration (高级配置) 部分,然后选择 Cluster template (集群模板)
  2. 从下拉列表中选择集群模板。每个可用的集群模板都包含一个简要说明,以帮助您进行选择。

  3. 您选择的集群模板可能有其他参数,例如 Amazon EMR 发行版或集群名称。您可以选择或插入值,或使用管理员选择的默认值。

  4. 选择 Use cluster template (使用集群模板) 来预置集群并将其附加到 Workspace。EMR Studio 将需要几分钟时间来创建集群。如果您使用 Create a Workspace (创建 Workspace) 对话框,请选择 Create Workspace (创建 Workspace) 来创建 Workspace 并预置集群。EMR Studio 预置您的新集群后,它会将集群附加到 Workspace。

从 Workspace 分离集群

要交换附加到 Workspace 的集群,您可以从 Workspace UI 分离集群。

从 Workspace 分离集群

  1. 在要分离集群的 Workspace 中,从左侧边栏中选择 EMR Clusters (EMR 集群) 图标,打开 Cluster (集群) 面板。

  2. Select cluster (选择集群) 下,选择 Detach (分离) 并等待 EMR Studio 分离集群。集群分离后,您将看到一条成功消息。