配置集群硬件和联网 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

配置集群硬件和联网

在创建 Amazon EMR 集群时,应重点考虑的是,如何配置 Amazon EC2 实例和网络选项。本章将详细介绍这些选项,然后将它们与最佳实践和指南相关联。

  • 节点类型 – EMR 集群中的 Amazon EC2 实例分为三种节点类型,即主节点核心节点任务节点。每个节点类型都执行一组由安装在集群上的分布式应用程序定义的角色。例如,在 Hadoop MapReduce 或 Spark 任务期间,核心节点和任务节点上的组件处理数据、将输出传输到 Amazon S3 或 HDFS 并将状态元数据返回到主节点。对于单节点集群,所有组件都在主节点上运行。有关更多信息,请参阅了解节点类型:主节点、核心节点和任务节点

  • EC2 实例 – 创建集群时,您可以选择每种类型节点在哪个 Amazon EC2 实例上运行。EC2 实例类型决定了节点的处理和存储配置文件。为节点选择 Amazon EC2 实例非常重要,因为它决定了集群中各节点类型的性能配置文件。有关更多信息,请参阅配置 Amazon EC2 实例

  • 联网 – 您可以使用公有子网、私有子网或共享子网将 Amazon EMR 集群启动到 VPC。您的联网配置决定了客户和服务如何连接到集群来执行工作、集群如何连接到数据存储和其它Amazon资源,以及用于控制这些连接上的流量的选项。有关更多信息,请参阅配置联网

  • 实例分组 – 托管每个节点类型的 EC2 实例集合称作实例集统一实例组。实例分组配置是您在创建集群时所做的选择。此选择决定了在集群运行时向集群添加节点的方式。配置适用于所有节点类型。它可以在稍后更改。有关更多信息,请参阅使用实例集或统一实例组创建集群

    注意

    实例集配置仅在 Amazon EMR 发行版 4.8.0 及更高版本(不包括 5.0.0 和 5.0.3)中可用。