扩展集群资源 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

扩展集群资源

您可以自动或手动调整对 Amazon EMR 集群可用的 Amazon EC2 实例的数量以响应具有不同需求的工作负载。要使用自动扩展,您有两个选项。您可以启用 EMR 托管扩展或创建自定义自动扩展策略。下表介绍了两个选项之间的区别。

EMR 托管扩展 自定义自动扩展

扩展策略和规则

无需策略。EMR 通过持续评估集群指标并做出优化的扩展决策来管理自动扩展活动。

您需要定义和管理自动扩展策略和规则,如触发扩展活动的特定条件、评估期、冷却期等。

支持的 EMR 版本

Amazon EMR 版本 5.30.0 及更高版本(Amazon EMR 版本 6.0.0 除外)

Amazon EMR 版本 4.0.0 及更高版本

支持的集群构成

实例组或实例队列

仅实例组

扩展限制配置

为整个集群配置扩展限制。

只能为每个实例组配置扩展限制。

指标评估频率

每 5 到 10 秒一次

更频繁地评估指标使 EMR 能够做出更精确的扩展决策。

您只能以五分钟的增量定义评估期。

支持的应用程序

只支持 YARN 应用程序,如 Spark、Hadoop、Hive、Flink。

目前不支持其他应用程序,如 Presto。

在定义自动扩展规则时,您可以选择支持哪些应用程序。

注意事项

  • Amazon EMR 集群始终由一个或三个主节点组成。在初始配置集群后,您无法扩展主节点的数量。您只能扩展集群中的核心节点和任务节点。

  • 不能同时重新配置实例组和调整其大小。如果在调整实例组大小时启动重新配置,则在实例组完成大小调整后,才能启动重新配置,反之亦然。