Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

配置集群硬件和联网

在创建 EMR 集群时,应重点考虑的是,如何配置 Amazon EC2 实例和网络选项。EMR 集群中的 EC2 实例分为三种节点类型,即主节点核心节点任务节点。每个节点类型都执行一组由安装在集群上的分布式应用程序定义的角色。例如,在 Hadoop MapReduce 或 Spark 作业期间,核心节点和任务节点上的组件处理数据、将输出传输到 Amazon S3 或 HDFS 并将状态元数据返回到主节点。对于单节点集群,所有组件都在主节点上运行。

托管每个节点类型的 EC2 实例集合称作实例队列统一实例组。实例队列或统一实例组配置是您在创建集群时所做的选择。它适用于所有节点类型,以后无法更改。

创建集群时,您做出的选择将最终确定集群的性能配置。本章将详细介绍这些选项,然后将它们与最佳实践和指南相关联。

注意

实例队列配置仅在 Amazon EMR 版本 4.8.0 和更高版本中可用 (不包括 5.0.0 和 5.0.3)。