Amazon EMR on EKS 的 spark-submit 入门 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR on EKS 的 spark-submit 入门

运行 Spark 应用程序

Amazon EMR 6.10.0 及更高版本都支持 spark-submit 在 Amazon EKS 集群上运行 Spark 应用程序。要运行 Spark 应用程序,请按照下述步骤操作:

  1. 在使用 spark-submit 命令运行 Spark 应用程序之前,请先完成设置 Amazon EMR on EKS 的 spark-submit中的步骤。

  2. 在 EKS 基础映像上运行带有 Amazon EMR 的容器。有关更多信息,请参阅如何选择基础镜像 URI

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash
  3. 设置以下环境变量的值:

    export SPARK_HOME=spark-home export MASTER_URL=k8s://Amazon EKS-cluster-endpoint
  4. 现在,使用以下命令提交 Spark 应用程序:

    $SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master $MASTER_URL \ --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \ --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \ --deploy-mode cluster \ --conf spark.kubernetes.namespace=spark-operator \ local:///usr/lib/spark/examples/jars/spark-examples.jar 20

有关向 Spark 提交应用程序的更多信息,请参阅 Apache Spark 文档中的 Submitting applications

重要

spark-submit 仅支持集群模式作为提交机制。