如何自定义 Docker 镜像

1. 选择基础镜像 URI。镜像 URI 遵循格式（ECR-registry-account.dkr.ecr.Region.amazonaws.com/spark/container-image-tag），示例如下。

   895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

   要选择您所在区域的基础镜像，请参阅如何选择基础镜像 URI。

2. 登录存储基础镜像的 Amazon ECR 存储库。使用 Amazon ECR 注册账户和所选Amazon区域来替换 895885662937 和 us-west-2。

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin 895885662937.dkr.ecr.us-west-2.amazonaws.com

3. 将基础镜像拉入本地 Workspace。用所选的容器镜像标签替换 emr-6.6.0:latest。

   docker pull 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest

1. 在您的本地 Workspace 上创建新的 Dockerfile。

2. 编辑您刚刚创建的 Dockerfile 并添加以下内容。该 Dockerfile 使用您从 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest 中提取的容器镜像。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   ### Add customization commands here ####
   USER hadoop:hadoop

3. 将命令添加到 Dockerfile 以自定义基础镜像。例如，添加命令来安装 Python 库，如以下 Dockerfile 所示。

   FROM 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
   RUN pip3 install --upgrade boto3 pandas numpy // For python 3
   USER hadoop:hadoop

4. 在创建 Dockerfile 的同一目录中，请运行以下命令构建 Docker 镜像。为 Docker 镜像提供一个名称，例如 emr6.6_custom。

   docker build -t emr6.6_custom .

可以执行以下步骤，验证您的自定义镜像。

1. 下载并安装 Amazon EMR on EKS 自定义镜像 CLI。有关更多信息，请参阅 Amazon EMR on EKS 自定义镜像 CLI 安装指南。

2. 运行以下命令以测试安装。

   emr-on-eks-custom-image --version

   下面是此类输出的示例。

   Amazon EMR on EKS Custom Image CLI
   Version: x.xx

3. 运行以下命令以验证您的自定义镜像。

   emr-on-eks-custom-image validate-image -i image_name -r release_version [-t image_type]

   • -i 指定需要验证的本地镜像 URI。它可以是镜像 URI，也可以是为镜像定义的任何名称或标签。

   • -r 为基础镜像指定确切的发布版本，例如 emr-6.6.0-latest。

   • -t 指定镜像类型。如果这是 Spark 镜像，请输入 spark。默认值为 spark。当前 Amazon EMR on EKS 自定义镜像 CLI 版本仅支持 Spark 运行时镜像。

   如果您成功运行命令并且自定义镜像满足所有必需的配置和文件结构，则返回的输出会显示所有测试结果，如以下示例所示。

   Amazon EMR on EKS Custom Image Test
   Version: x.xx
   ... Checking if docker cli is installed
   ... Checking Image Manifest
   [INFO] Image ID: xxx
   [INFO] Created On: 2021-05-17T20:50:07.986662904Z
   [INFO] Default User Set to hadoop:hadoop : PASS
   [INFO] Working Directory Set to /home/hadoop : PASS
   [INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
   [INFO] SPARK_HOME is set with value: /usr/lib/spark : PASS
   [INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
   [INFO] File Structure Test for spark-jars in /usr/lib/spark/jars: PASS
   [INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
   [INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
   [INFO] File Structure Test for bin-files in /usr/bin: PASS
   ... Start Running Sample Spark Job
   [INFO] Sample Spark Job Test with local:///usr/lib/spark/examples/jars/spark-examples.jar : PASS
   -----------------------------------------------------------------
   Overall Custom Image Validation Succeeded.
   -----------------------------------------------------------------

   如果自定义镜像不满足所需的配置或文件结构，则会出现错误消息。返回的输出提供了错误配置或文件结构相关信息。

1. 运行以下命令创建用于存储 Docker 镜像的 Amazon ECR 存储库。为存储库提供一个名称，例如 emr6.6_custom_repo。将 us-west-2 替换为您的区域。

   aws ecr create-repository \
       --repository-name emr6.6_custom_repo \
       --image-scanning-configuration scanOnPush=true \
       --region us-west-2

   有关更多信息，请参阅《Amazon ECR 用户指南》中的创建存储库。

2. 运行以下命令对您的默认注册表进行身份验证。

   aws ecr get-login-password --region us-west-2 | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.us-west-2.amazonaws.com

   有关更多信息，请参阅《Amazon ECR 用户指南》中的对您的默认注册表进行身份验证。

3. 标记镜像并将其发布到您创建的 Amazon ECR 存储库。

   标记镜像。

   docker tag emr6.6_custom aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   推送镜像。

   docker push aws_account_id.dkr.ecr.us-west-2.amazonaws.com/emr6.6_custom_repo

   有关更多信息，请参阅《Amazon ECR 用户指南》中的将镜像推送到 Amazon ECR。

1. 按照上述第 1-4 步进行操作，以自定义 Docker 镜像。对于 Amazon EMR 6.9.0 版本及更高版本，您可以从 Amazon ECR Public Gallery 获取基础映像 URI。对于 Amazon EMR 6.9.0 之前的版本，您可以在每个 Amazon Web Services 区域 的 Amazon ECR 注册账户中获取映像，唯一的区别是 Dockerfile 中的基础映像 URI。基础映像 URI 遵循以下格式：

   ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

   您需要在基本镜像 URI 中使用 notebook-spark，而不是 spark。基本镜像包含 Spark 运行时，以及随之运行的笔记本内核。有关选择区域和容器镜像标签的更多信息，请参阅 如何选择基础镜像 URI。

   注意

   目前仅支持覆盖基础镜像，除 Amazon 提供的基础镜像之外，不支持引入其他类型的全新内核。

2. 创建可与自定义映像配合使用的交互式端点。

   首先，使用以下内容创建名为 custom-image-managed-endpoint.json 的 JSON 文件。

   {
       "name": "endpoint-name",
       "virtualClusterId": "virtual-cluster-id",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.6.0-latest",
       "executionRoleArn": "execution-role-arn",
       "certificateArn": "certificate-arn",
       "configurationOverrides": {
           "applicationConfiguration": [
               {
                   "classification": "jupyter-kernel-overrides",
                   "configurations": [
                       {
                           "classification": "python3",
                           "properties": {
                               "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                           }
                       },
                       {
                           "classification": "spark-python-kubernetes",
                           "properties": {
                               "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                           }
                       }
                   ] 
               }
           ]
       }
   }

   然后，使用该 JSON 文件中指定的配置创建交互式端点，如以下示例所示。

   aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

   有关更多信息，请参阅为虚拟集群创建交互式端点。

3. 通过 EMR Studio 连接到交互式端点。有关更多信息，请参阅从 Studio 连接。

1. 创建包含以下内容的 Dockerfile，以便您能拉取 arm64 映像。

   FROM --platform=arm64 895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.6.0:latest
   USER root
    
   RUN pip3 install boto3 // install customizations here
   USER hadoop:hadoop
   

2. 按照适用于 Amazon ECR 的多架构容器镜像简介中的说明操作，构建一个多架构镜像。

   注意

   您必须在 arm64 实例上创建 arm64 映像。同样，您必须在 amd64 实例上构建 amd64 映像。

   您还可以使用 Docker buildx 命令构建多架构映像，而无需基于每种特定实例类型上进行构建。有关更多信息，请参阅利用多 CPU 架构支持。

3. 构建多架构镜像后，您可以使用相同的 spark.kubernetes.container.image 参数并指向该映像来提交任务。在同时包括基于 Amazon Graviton 和非基于 Graviton 的 EC2 实例的异构集群中，实例将根据拉取该映像的实例架构确定正确的架构映像。