使用 Spark Operator 运行 Spark 任务 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 Spark Operator 运行 Spark 任务

Amazon EMR 6.10.0 及更高版本都支持 Apache Spark 版 Kubernetes Operator(又称 Spark Operator),作为 Amazon EMR on EKS 的任务提交模型。使用 Spark Operator,您可以在自己的 Amazon EKS 集群上使用 Amazon EMR 发行版运行时系统部署并管理 Spark 应用程序。在 Amazon EKS 集群中部署 Spark Operator 后,您可以直接使用 Operator 提交 Spark 应用程序。Operator 会管理 Spark 应用程序的生命周期。

注意

从开始下载 Amazon EMR 应用程序映像到 Amazon EKS Pod 终止为止,Amazon EMR 会根据您在 Operator Pod 中使用的 vCPU 和内存资源来计算 Amazon EKS 上的定价,四舍五入到最接近的秒数。