使用 Pod 模板

从 Amazon EMR 版本 5.33.0 或 6.3.0 开始，Amazon EMR on EKS 支持 Spark 的 Pod 模板功能。Pod 是包含一个或多个容器的容器组，包含共享存储和网络资源，以及如何运行容器的规范。Pod 模板是决定如何运行每个容器的规范。您可以使用 Pod 模板文件定义 Spark 配置不支持的驱动程序或执行程序 Pod 的配置。有关 Spark 的 Pod 模板功能的更多信息，请参阅 Pod 模板。

常见场景

您可以通过将 Pod 模板与 Amazon EMR on EKS 结合使用，来定义如何在共享 EKS 集群上运行 Spark 任务，从而节省成本并提高资源利用率和性能。

例如，以下 Pod 模板文件演示了常见的使用场景。

apiVersion: v1
kind: Pod
spec:
  volumes:
    - name: source-data-volume
      emptyDir: {}
    - name: metrics-files-volume
      emptyDir: {}
  nodeSelector:
    eks.amazonaws.com/nodegroup: emr-containers-nodegroup
  containers:
  - name: spark-kubernetes-driver # This will be interpreted as driver Spark main container
    env:
      - name: RANDOM
        value: "random"
    volumeMounts:
      - name: shared-volume
        mountPath: /var/data
      - name: metrics-files-volume
        mountPath: /var/metrics/data
  - name: custom-side-car-container # Sidecar container
    image: <side_car_container_image>
    env:
      - name: RANDOM_SIDECAR
        value: random
    volumeMounts:
      - name: metrics-files-volume
        mountPath: /var/metrics/data
    command:
      - /bin/sh
      - '-c'
      -  <command-to-upload-metrics-files>
  initContainers:
  - name: spark-init-container-driver # Init container
    image: <spark-pre-step-image>
    volumeMounts:
      - name: source-data-volume # Use EMR predefined volumes
        mountPath: /var/data
    command:
      - /bin/sh
      - '-c'
      -  <command-to-download-dependency-jars>
  

Pod 模板完成以下任务：

利用 Amazon EMR on EKS 启用 Pod 模板

要使用 Amazon EMR on EKS 启用 Pod 模板功能，请配置 Spark 属性 spark.kubernetes.driver.podTemplateFile 和 spark.kubernetes.executor.podTemplateFile，以指向 Amazon S3 中的 Pod 模板文件。然后，Spark 下载 Pod 模板文件并使用它来构建驱动程序和执行程序 Pod。

您可以使用 SparkSubmitParameters 来指定 Pod 模板的 Amazon S3 路径，如以下任务运行 JSON 文件所示。

{
  "name": "myjob", 
  "virtualClusterId": "123456",  
  "executionRoleArn": "iam_role_name_for_job_execution", 
  "releaseLabel": "release_label", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "entryPoint_location",
      "entryPointArguments": ["argument1", "argument2", ...], 
       "sparkSubmitParameters": "--class <main_class> \
         --conf spark.kubernetes.driver.podTemplateFile=s3://path_to_driver_pod_template \
         --conf spark.kubernetes.executor.podTemplateFile=s3://path_to_executor_pod_template \
         --conf spark.executor.instances=2 \
         --conf spark.executor.memory=2G \
         --conf spark.executor.cores=2 \
         --conf spark.driver.cores=1"
    }
  }
}

此外，您也可以使用 configurationOverrides 来指定 Pod 模板的 Amazon S3 路径，如以下任务运行 JSON 文件所示。

{
  "name": "myjob", 
  "virtualClusterId": "123456",  
  "executionRoleArn": "iam_role_name_for_job_execution", 
  "releaseLabel": "release_label", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "entryPoint_location",
      "entryPointArguments": ["argument1", "argument2", ...],  
       "sparkSubmitParameters": "--class <main_class> \
         --conf spark.executor.instances=2 \
         --conf spark.executor.memory=2G \
         --conf spark.executor.cores=2 \
         --conf spark.driver.cores=1"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "spark-defaults", 
        "properties": {
          "spark.driver.memory":"2G",
          "spark.kubernetes.driver.podTemplateFile":"s3://path_to_driver_pod_template",
          "spark.kubernetes.executor.podTemplateFile":"s3://path_to_executor_pod_template"
         }
      }
    ]
  }
}

Pod 模板字段

使用 Amazon EMR on EKS 配置 Pod 模板时，请考虑以下字段限制。

边车容器注意事项

Amazon EMR 控制由 Amazon EMR on EKS 预置的 Pod 生命周期。边车容器应遵循与 Spark 主容器相同的生命周期。如果您在 Pod 中注入额外的边车容器，我们建议您与 Amazon EMR 定义的 Pod 生命周期管理集成，以便在 Spark 主容器退出时，边车容器可以自行停止。

为了降低成本，我们建议您实施一个流程，以防止存在边车容器的驱动程序 Pod 在任务完成后继续运行。完成执行程序后，Spark 驱动程序会删除执行程序 Pod。但是，当驱动程序完成后，其它边车容器将继续运行。在 Amazon EMR on EKS 清除 Pod 驱动程序之前，Pod 都会产生费用，通常在驱动程序 Spark 主容器完成后不到一分钟内产生费用。为了降低成本，您可以将更多边车容器与生命周期管理机制集成，以便 Amazon EMR on EKS 为驱动程序和执行程序 Pod 定义生命周期管理机制，如下节所述。

在驱动程序和执行程序 Pod 中的 Spark 主容器每两秒钟将 heartbeat 发送到文件 /var/log/fluentd/main-container-terminated。通过向您的边车容器添加 Amazon EMR 预定义的 emr-container-communicate 卷挂载，您可以定义 Sidecar 容器的子进程，以定期跟踪此文件的上次修改时间。然后，如果子进程发现 Spark 主容器在较长持续时间内停止使用 heartbeat，则子进程会自行停止。

以下示例演示了跟踪检测信号文件并自行停止的子进程。将 your_volume_mount 替换为挂载预定义卷的路径。脚本捆绑在边车容器使用的镜像内部。在 Pod 模板文件中，您可以使用以下命令 sub_process_script.sh 和 main_command 来指定边车容器。

MOUNT_PATH="your_volume_mount"
FILE_TO_WATCH="$MOUNT_PATH/main-container-terminated"
INITIAL_HEARTBEAT_TIMEOUT_THRESHOLD=60
HEARTBEAT_TIMEOUT_THRESHOLD=15
SLEEP_DURATION=10

function terminate_main_process() {
  # Stop main process
}

# Waiting for the first heartbeat sent by Spark main container
echo "Waiting for file $FILE_TO_WATCH to appear..."
start_wait=$(date +%s)
while ! [[ -f "$FILE_TO_WATCH" ]]; do
    elapsed_wait=$(expr $(date +%s) - $start_wait)
    if [ "$elapsed_wait" -gt "$INITIAL_HEARTBEAT_TIMEOUT_THRESHOLD" ]; then
        echo "File $FILE_TO_WATCH not found after $INITIAL_HEARTBEAT_TIMEOUT_THRESHOLD seconds; aborting"
        terminate_main_process
        exit 1
    fi
    sleep $SLEEP_DURATION;
done;
echo "Found file $FILE_TO_WATCH; watching for heartbeats..."

while [[ -f "$FILE_TO_WATCH" ]]; do
    LAST_HEARTBEAT=$(stat -c %Y $FILE_TO_WATCH)
    ELAPSED_TIME_SINCE_AFTER_HEARTBEAT=$(expr $(date +%s) - $LAST_HEARTBEAT)
    if [ "$ELAPSED_TIME_SINCE_AFTER_HEARTBEAT" -gt "$HEARTBEAT_TIMEOUT_THRESHOLD" ]; then
        echo "Last heartbeat to file $FILE_TO_WATCH was more than $HEARTBEAT_TIMEOUT_THRESHOLD seconds ago at $LAST_HEARTBEAT; terminating"
        terminate_main_process
        exit 0
    fi
    sleep $SLEEP_DURATION;
done;
echo "Outside of loop, main-container-terminated file no longer exists"
    
# The file will be deleted once the fluentd container is terminated

echo "The file $FILE_TO_WATCH doesn't exist any more;"
terminate_main_process
exit 0