为 Flink 和 FluentD 自定义 Docker 镜像 - Amazon EMR
先决条件从 Amazon 弹性容器注册表中检索基础镜像自定义基础图片发布您的自定义图片提交 Flink 工作负载
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为 Flink 和 FluentD 自定义 Docker 镜像

请执行以下步骤，使用 Apache Flink 或 FluentD 镜像在 EKS 上为亚马逊 EMR 自定义 Docker 镜像。

在自定义 Docker 镜像之前，请确保您已完成以下先决条件：

基础映像包含访问其他镜像所需的 Amazon EMR 运行时和连接器。 Amazon Web Services如果你在 EKS 上使用 Flink 6.14.0 或更高版本的 Amazon EMR，则可以从亚马逊 ECR 公共图库中获取基础图片。浏览图库以找到映像链接，然后将映像拉到本地工作区。例如，对于 Amazon EMR 6.14.0 版本，以下docker pull命令返回最新的标准基础映像。emr-6.14.0:latest用你想要的发行版替换。

docker pull public.ecr.aws/emr-on-eks/flink/emr-6.14.0-flink:latest

以下是 Flink 图库图片和 Fluentd 图库图片的链接：

以下步骤描述了如何自定义您从 Amazon ECR 中提取的基础映像。

  1. 在您的本地 Workspace 上创建新的 Dockerfile。

  2. 编辑Dockerfile并添加以下内容。这将Dockerfile使用您从中提取的容器镜像public.ecr.aws/emr-on-eks/flink/emr-7.1.0-flink:latest。

    FROM public.ecr.aws/emr-on-eks/flink/emr-7.1.0-flink:latest
USER root
### Add customization commands here ####
USER hadoop:hadoop

    如果您正在使用，请使用以下配置Fluentd。

    FROM public.ecr.aws/emr-on-eks/fluentd/emr-7.1.0:latest
USER root
### Add customization commands here ####
USER hadoop:hadoop

  3. 将命令添加到 Dockerfile 以自定义基础镜像。以下命令演示了如何安装 Python 库。

    FROM public.ecr.aws/emr-on-eks/flink/emr-7.1.0-flink:latest
USER root
RUN pip3 install --upgrade boto3 pandas numpy // For python 3
USER hadoop:hadoop

  4. 在您创建的同一目录中DockerFile，运行以下命令来构建 Docker 镜像。您在-t旗帜后面提供的字段是您自定义的图像名称。

    docker build -t <YOUR_ACCOUNT_ID>.dkr.ecr.<YOUR_ECR_REGION>.amazonaws.com/<ECR_REPO>:<ECR_TAG>

现在，您可以将新的 Docker 镜像发布到您的 Amazon ECR 注册表。

  1. 运行以下命令创建 Amazon ECR 存储库来存储您的 Docker 镜像。为您的存储库提供名称，例如emr_custom_repo.有关更多信息，请参阅 Amazon Elastic Con tainer Registry 用户指南中的创建存储库。

    aws ecr create-repository \
       --repository-name emr_custom_repo \
       --image-scanning-configuration scanOnPush=true \
       --region <AWS_REGION>

  2. 运行以下命令对您的默认注册表进行身份验证。有关更多信息，请参阅 Amazon Elast ic Container Registry 用户指南中的使用默认注册表进行身份验证。

    aws ecr get-login-password --region <AWS_REGION> | docker login --username Amazon --password-stdin <AWS_ACCOUNT_ID>.dkr.ecr.<YOUR_ECR_REGION>.amazonaws.com

  3. 推送镜像。有关更多信息，请参阅《亚马逊弹性容器注册表用户指南》中的将图像推送到 Amazon ECR。

    docker push <YOUR_ACCOUNT_ID>.dkr.ecr.<YOUR_ECR_REGION>.amazonaws.com/<ECR_REPO>:<ECR_TAG>

要使用自定义图片，请对您的FlinkDeployment规范进行以下更改。为此，请在部署规范的spec.image行中输入您自己的镜像。

apiVersion: flink.apache.org/v1beta1
   kind: FlinkDeployment
   metadata:
     name: basic-example
   spec:
     flinkVersion: v1_18
     image: <YOUR_ACCOUNT_ID>.dkr.ecr.<YOUR_ECR_REGION>.amazonaws.com/<ECR_REPO>:<ECR_TAG>
     imagePullPolicy: Always
     flinkConfiguration:
           taskmanager.numberOfTaskSlots: "1"

要将自定义映像用于 Fluentd 作业，请在部署规范monitoringConfiguration.image行中输入您自己的镜像。

  monitoringConfiguration:
       image: <YOUR_ACCOUNT_ID>.dkr.ecr.<YOUR_ECR_REGION>.amazonaws.com/<ECR_REPO>:<ECR_TAG>
       cloudWatchMonitoringConfiguration:
         logGroupName: flink-log-group
         logStreamNamePrefix: custom-fluentd