扩展集群资源 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

扩展集群资源

您可以调整 Amazon EC2 可用的实例 Amazon EMR 对具有不同需求的工作负载自动或手动处理群集。要使用自动扩展,您有两个选项。您可以启用 EMR 托管扩展或创建自定义自动扩展策略。下表介绍了两个选项之间的区别。

EMR 托管扩展 自定义自动扩展

扩展策略和规则

无需策略。EMR 通过持续评估集群指标并做出优化的扩展决策来管理自动扩展活动。

您需要定义和管理自动扩展策略和规则,例如触发缩放活动、评估期间、冷却期等的特定条件。

支持的 EMR 版本

Amazon EMR 版本 5.30.0 及更高版本(Amazon EMR 版本 6.0.0 除外)

Amazon EMR 版本 4.0.0 及更高版本

支持的集群构成

实例组或实例队列

仅实例组

扩展限制配置

为整个集群配置扩展限制。

只能为每个实例组配置扩展限制。

指标评估频率

每 5 到 10 秒一次

更频繁地评估指标使 EMR 能够做出更精确的扩展决策。

您只能以五分钟的增量定义评估期。

支持的应用程序

只支持 YARN 应用程序,如 Spark、Hadoop、Hive、Flink。

目前不支持其他应用程序,如 Presto。

在定义自动扩展规则时,您可以选择支持哪些应用程序。

注意事项:

  • 一个 Amazon EMR 群集总是包含一个或三个主节点。在初始配置集群后,您无法扩展主节点的数量。您只能扩展集群中的核心节点和任务节点。

  • 不能同时重新配置实例组和调整其大小。如果在调整实例组大小时启动重新配置,则在实例组完成大小调整后,才能启动重新配置,反之亦然。