使用 Spark Operator 运行 Spark 任务 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Spark Operator 运行 Spark 任务

Amazon EMR 6.10.0 及更高版本都支持 Apache Spark 版 Kubernetes Operator(又称 Spark Operator),作为 Amazon EMR on EKS 的任务提交模型。使用 Spark Operator,您可以在自己的 Amazon EKS 集群上使用 Amazon EMR 发行版运行时系统部署并管理 Spark 应用程序。在 Amazon EKS 集群中部署 Spark Operator 后,您可以直接使用 Operator 提交 Spark 应用程序。Operator 会管理 Spark 应用程序的生命周期。

注意

亚马逊 EMR 根据 vCPU 和内存消耗来计算亚马逊 EKS 的定价。此计算适用于驱动程序和执行程序 pod。此计算从您下载 Amazon EMR 应用程序映像时开始,直到 Amazon EKS 窗格终止并四舍五入到最接近的秒数。