这些组件如何协同工作 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

这些组件如何协同工作

以下步骤和图说明了 Amazon EMR on EKS 工作流：

  • 使用现有的 Amazon EKS 集群，或通过使用 eksctl 命令行实用程序或 Amazon EKS 控制台来创建 Amazon EKS 集群。

  • 通过在 EKS 集群上使用命名空间注册 Amazon EMR 来创建虚拟集群。

  • 使用 Amazon CLI 或 SDK 将您的任务提交到虚拟集群。

Amazon EMR on EKS 任务

使用 Kubernetes 命名空间在 Amazon EKS 上注册 Amazon EMR，以此创建虚拟集群。然后，Amazon EMR 可以在该命名空间上运行分析工作负载。当您使用 Amazon EMR on EKS 将 Spark 提交提交到虚拟集群时，Amazon EMR on EKS 会请求 Amazon EKS 上的 Kubernetes 计划程序来安排 Pod。

对于您运行的每个任务，Amazon EMR on EKS 会创建包含 Amazon Linux 2 基础镜像、Apache Spark 和相关依赖项的容器。每个任务都在下载容器的 Pod 中运行，并开始运行 Pod。任务终止后，Pod 也会终止。如果容器的镜像之前已部署到节点，则会使用缓存镜像并绕过下载。日志或指标转发服务器等 Sidecar 容器可部署到 Pod 中。任务终止后，您仍可以使用 Amazon EMR 控制台中的 Spark 应用程序 UI 对其进行调试。