Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

扩展集群资源

您可以自动或手动调整对 EMR 集群可用的 Amazon EC2 实例的数目以响应具有不同需求的工作负载。以下选项可用:

  • 在您首次创建核心实例组和任务实例组时或在集群运行后,您可以使用 Amazon EMR 4.x 版或更高版本为它们配置自动扩展。Amazon EMR 根据您指定的规则自动配置 Auto Scaling 参数,然后基于 CloudWatch 指标添加和删除实例。

  • 您可以通过手动添加或删除 Amazon EC2 实例来手动调整 核心实例组和任务实例组的大小。

  • 您可以向集群添加新的任务实例组。

用于指定 Amazon EC2 实例类型的选项仅在初始配置实例组期间可用,因此,您只能通过添加新任务来更改 Amazon EC2 实例类型。在使用 Amazon EMR 5.1.0 版或更高版本时,利用集群范围的配置,您可以指定从集群中删除的 Amazon EC2 实例是在实例小时边界终止还是在 Amazon EC2 实例上的任务完成时终止。有关更多信息,请参阅集群缩减

在选择此部分中描述的扩展方法之一前,您应熟悉一些重要概念。首先,您应理解 EMR 集群中的节点类型 的角色以及如何使用实例组 管理它们。有关节点类型的功能的更多信息,请参阅 Amazon EMR 是什么?;有关实例组的更多信息,请参阅实例组。您还应制定一个策略来基于工作负载的性质合理调整集群资源的大小。有关更多信息,请参阅集群配置指南

注意

EMR 集群中的主实例组始终包含一个在单个 Amazon EC2 实例上运行的节点,因此它在初始配置后无法扩展。您使用核心实例组和任务实例组来横向扩展和缩减集群。可以拥有一个仅具有一个主节点而不具有核心或任务节点的集群。在创建集群时,您必须有至少一个核心节点才能扩展集群。换句话说,单节点集群无法调整大小。