设置 Amazon EMR on EKS 的 Flink Kubernetes Operator - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

设置 Amazon EMR on EKS 的 Flink Kubernetes Operator

在 Amazon EKS 上安装 Flink Kubernetes Operator 之前,请执行下述任务来完成设置。如果已注册 Amazon Web Services(Amazon)并且一直在使用 Amazon EKS,您基本上就准备好使用 Amazon EMR on EKS 了。完成以下任务,在 Amazon EKS 上设置好 Flink Operator。跳过已完成的先决条件,转到下一个先决条件。

  • 安装 Amazon CLI— 如果您已经安装了 Amazon CLI,请确认您安装的是最新版本。

  • 安装 eksctl – eksctl 是用来与 Amazon EKS 通信的命令行工具。

  • Install Helm – Kubernetes 的 Helm 包管理器可帮助您在 Kubernetes 集群上安装和管理应用程序。

  • 设置 Amazon EKS 群集 – 按照所述步骤在 Amazon EKS 中创建具有节点的新 Kubernetes 集群。

  • 选择亚马逊 EMR 版本标签(版本 6.13.0 或更高版本)— 亚马逊 EMR 6.13.0 及更高版本支持 Flink Kubernetes 操作员。

  • 在 Amazon EKS 集群上启用服务账户的 IAM 角色(IRSA)。

  • 创建任务执行角色

  • 更新任务执行角色的信任策略。

  • 创建 Operator 执行角色。此为可选步骤。Flink 任务和 Operator 可以使用相同的角色。如果想为 Operator 设置不同的 IAM 角色,可以单独创建一个角色。

  • 更新 Operator 执行角色的信任策略。必须为要用于 Amazon EMR Flink Kubernetes Operator 服务账户的角色显式添加一个信任策略条目。可以按照如下示例格式进行操作:

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringLike": { "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator" } } } ] }