将工作提交到 Amazon EMR on EKS 虚拟集群时会发生什么 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将工作提交到 Amazon EMR on EKS 虚拟集群时会发生什么

使用 Kubernetes 命名空间在 Amazon EKS 上注册 Amazon EMR，以此创建虚拟集群。然后，Amazon EMR 可以在该命名空间上运行分析工作负载。当您使用 Amazon EMR on EKS 将 Spark 提交提交到虚拟集群时，Amazon EMR on EKS 会请求 Amazon EKS 上的 Kubernetes 计划程序来安排 Pod。

以下步骤和图说明了 Amazon EMR on EKS 工作流：

  • 使用现有的 Amazon EKS 集群，或通过使用 eksctl 命令行实用程序或 Amazon EKS 控制台来创建 Amazon EKS 集群。

  • 通过在 EKS 集群上使用命名空间注册 Amazon EMR 来创建虚拟集群。

  • 使用 Amazon CLI 或 SDK 将您的任务提交到虚拟集群。

Amazon EMR on EKS 任务

对于您运行的每个任务，Amazon EMR on EKS 会创建包含 Amazon Linux 2 基础镜像、Apache Spark 和相关依赖项的容器。每个任务都在下载容器的 Pod 中运行，并开始运行 Pod。任务终止后，Pod 也会终止。如果容器的镜像之前已部署到节点，则会使用缓存镜像并绕过下载。日志或指标转发服务器等 Sidecar 容器可部署到 Pod 中。任务终止后，您仍可以使用 Amazon EMR 控制台中的 Spark 应用程序 UI 对其进行调试。