使用 Lake Formation 启动 Amazon EMR 集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用 Lake Formation 启动 Amazon EMR 集群

在使用 Amazon Lake Formation 启动 Amazon EMR 集群之前,您必须完成开始前的准备工作中的先决条件。

当您使用 Lake Formation 启动 Amazon EMR 集群时,您必须指定以下项目。

启动集群后,请确保使用身份提供商更新的回调或单点登录 URL,以便将用户引导回集群的主节点 (master node)。

示例:使用 Amazon CLI 创建使用 Lake Formation 的 EMR 集群

以下示例 Amazon CLI 命令使用与 Amazon Lake Formation 集成的 Zeppelin 启动 Amazon EMR 集群。它包括 EMR 与 Lake Formation 集成所需的 --kerberos-attributes--security-configurationInstanceProfile 的指定值。

aws emr create-cluster --region us-east-1 \ --release-label emr-5.31.0 \ --use-default-roles \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.xlarge \ InstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.xlarge \ --applications Name=Zeppelin Name=Livy \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=MyClusterKDCAdminPassword \ --ec2-attributes KeyName=EC2_KEY_PAIR,SubnetId=subnet-00xxxxxxxxxxxxx11,InstanceProfile=MyCustomEC2InstanceProfile \ --security-configuration security-configuration \ --name cluster-name

更新身份提供商的回调或单点登录 URL

使用 Lake Formation 启动 Amazon EMR 集群后,您必须使用您的身份提供商更新回调或单点登录 URL,以便将用户引导回集群的主节点 (master node)。

  1. 在 EMR 控制台中(https://console.aws.amazon.com/elasticmapreduce/)或使用 Amazon CLI 找到主节点 (master node) 的公共 IP 地址和集群的主实例 ID。

  2. 在您的身份提供商(IdP)账户中设置回调 URL:

    • 使用 AD FS 作为 IdP 时,请完成以下步骤:

      1. 从 AD FS 管理控制台转到 Relying Party Trusts (信赖方信任)

      2. 右键单击您的信赖方信任的显示名称,然后选择 Properties (属性)

      3. Properties (属性) 窗口中,选择 Endpoints (终端节点) 选项卡。

      4. 选择您之前提供的临时 URL,然后选择 edit (编辑)

      5. Edit Endpoint (编辑终端节点) 窗口中,使用您主节点的正确 DNS 名称更新信任 URL。

      6. Add an Endpoint (添加终端节点) 窗口中,使用您的主节点公有 DNS 填写 Trusted URL (信任 URL) 框。例如:

        https://ec2-11-111-11-111.compute-1.amazonaws.com:8442/gateway/knoxsso/api/v1/websso?pac4jCallback=true&client_name=SAML2Client
      7. 选择 OK (确定)

    • 使用 Auth0 作为 IdP 时,请完成以下步骤:

      1. 转至 https://auth0.com/ 并登录。

      2. 在左侧面板中,选择 Applications (应用程序)

      3. 选择您之前创建的应用程序。

      4. Settings (设置) 选项卡上,使用您的主节点公有 DNS 更新 Allowed Callback URLs (允许的回调 URL)

    • 使用 Okta 作为 IdP 时,请完成以下步骤:

      1. 转至 https://developer.okta.com/ 并登录。

      2. 在右上角,选择 Admin (管理员),然后选择 Applications (应用程序) 选项卡。

      3. 输入您的应用程序名称。

      4. 在您应用程序名称下的 General (常规) 选项卡上,选择 SAML Settings (SAML 设置),然后选择 Edit (编辑)

      5. Configure SAML (配置 SAML) 选项卡上,使用您的主节点公有 DNS 更新 Single-sign on URL (单点登录 URL)