设置 Amazon EMR on EKS 的 spark-submit
先执行以下任务来完成设置,才能在 Amazon EMR on EKS 上使用 spark-submit 运行应用程序。如果已注册 Amazon Web Services(Amazon)并且一直在使用 Amazon EKS,您基本上就准备好使用 Amazon EMR on EKS 了。跳过已完成的先决条件,转到下一个先决条件。
-
安装 Amazon CLI – 如果已经安装 Amazon CLI,请确认安装的是最新版本。
-
安装 eksctl – eksctl 是用来与 Amazon EKS 通信的命令行工具。
-
设置 Amazon EKS 群集 – 按照所述步骤在 Amazon EKS 中创建具有节点的新 Kubernetes 集群。
-
选择 Amazon EMR 基础映像 URI(6.10.0 或更高版本)– Amazon EMR 6.10.0 及更高版本都支持
spark-submit
命令。 -
确认驱动程序服务账户有创建并监视执行程序 Pod 的相应权限。有关更多信息,请参阅Spark-submit 的 Spark 驱动程序服务账户安全要求。
-
设置本地 Amazon 凭证配置文件。
-
获取 Amazon EKS 集群端点。