在 Amazon EMR 中使用托管扩展

在以下 Amazon Web Services 区域 中，Amazon EMR 6.14.0 及更高版本提供了 Amazon EMR 托管式自动扩缩功能：

在下列 Amazon Web Services 区域，Amazon EMR 5.30.0 和 6.1.0 及更高版本提供了 Amazon EMR 托管式自动扩缩功能：

Amazon EMR 托管扩展仅适用于 YARN 应用程序，如 Spark、Hadoop、Hive 和 Flink。不支持非基于 YARN 的应用程序，如 Presto 和 HBase。

Minimum (最小)（MinimumCapacityUnits）– 集群中允许的 EC2 容量的下限。其衡量方式为通过虚拟中央处理单位（vCPU）核心或实例组中的实例进行衡量。其衡量方式为通过实例集单位进行衡量。

Maximum (最大)（MaximumCapacityUnits）– 集群中允许的 EC2 容量的上限。其衡量方式为通过虚拟中央处理单位（vCPU）核心或实例组中的实例进行衡量。其衡量方式为通过实例集单位进行衡量。

On-Demand limit (按需限制)（MaximumOnDemandCapacityUnits）（可选）– 集群中按需市场类型允许的 EC2 容量的上限。如果未指定此参数，则默认为 MaximumCapacityUnits 的值。

Maximum core nodes (最大核心节点)（MaximumCoreCapacityUnits）（可选）– 集群中核心节点类型允许的 EC2 容量的上限。如果未指定此参数，则默认为 MaximumCapacityUnits 的值。

仅少数 Amazon Web Services 区域和 Amazon EMR 发行版支持托管式自动扩缩功能。有关更多信息，请参阅 托管式自动扩缩功能的可用性。

您必须为 Amazon EMR 托管扩展配置所需参数。有关更多信息，请参阅 托管扩展参数。

要使用托管式扩展，指标收集器进程必须能够连接到公有 API 端点，以便在 API Gateway 中进行托管式扩展。如果您通过 Amazon Virtual Private Cloud 使用私有 DNS 名称，托管式扩缩将无法正常运行。为确保托管式扩展正常运行，我们建议您执行以下操作之一：

如果您的 YARN 作业在缩减过程中出现间歇性运行缓慢的情况，并且 YARN 资源管理器日志显示在此期间您的大多数节点都被列入拒绝列表，则可以调整停用超时阈值。

将 spark.blacklist.decommissioning.timeout 从 1 小时减少到 1 分钟，以使节点可供其他待处理容器继续进行任务处理。

您还应将 YARN.resourcemanager.nodemanager-graceful-decommission-timeout-secs 设置为更大的值，以确保当时间最长的“Spark 任务”仍在节点上运行时，Amazon EMR 不会强制终止该节点。当前默认值为 60 分钟，这意味着一旦节点进入停用状态，YARN 将在 60 分钟后强制终止容器。

以下 YARN 资源管理器日志行示例显示了已添加到停用状态的节点：

2021-10-20 15:55:26,994 INFO org.apache.hadoop.YARN.server.resourcemanager.DefaultAMSProcessor (IPC Server handler 37 on default port 8030): blacklist are updated in Scheduler.blacklistAdditions: [ip-10-10-27-207.us-west-2.compute.internal, ip-10-10-29-216.us-west-2.compute.internal, ip-10-10-31-13.us-west-2.compute.internal, ... , ip-10-10-30-77.us-west-2.compute.internal], blacklistRemovals: []

查看 details on how Amazon EMR integrates with YARN deny listing during decommissioning of nodes（有关 Amazon EMR 如何在节点停用期间与 YARN 拒绝名单集成的详细信息）、拒绝列出的节点以及配置节点停用行为的更多信息。

过度使用 EBS 卷可能会导致托管扩展问题。我们建议您将 EBS 卷的利用率保持在 90％ 以下。有关更多信息，请参阅 Amazon EMR 中的实例存储选项和行为。

Amazon CloudWatch 指标对于 Amazon EMR 托管扩展的运行至关重要。我们建议您密切监控 Amazon CloudWatch 指标，以确保数据不会丢失。有关如何配置 CloudWatch 告警以检测缺失指标的更多信息，请参阅使用 Amazon CloudWatch 告警。

在未安装 Presto 的 5.30.0 和 5.30.1 的集群上进行托管扩展操作可能会导致应用程序故障或导致统一的实例组或实例集处于 ARRESTED 状态，尤其是在缩减操作之后快速执行扩展操作时。

解决方法是即使您的任务不需要 Presto，也可以在使用 Amazon EMR 发行版 5.30.0 和 5.30.1 创建集群时，将 Presto 选为要安装的应用程序。

在为 Amazon EMR 托管扩展设置最大核心节点和按需限制时，请考虑实例组和实例集之间的差异。每个实例组包含相同的实例类型和相同的实例购买选项：按需或 Spot。对于每个实例集，您可以指定最多 5 个实例类型，这些类型可预配置为按需实例和竞价型实例。有关更多信息，请参阅使用集或统一实例组创建集群、集选项和 节点分配方案。

对于 Amazon EMR 5.30.0 及更高版本，如果您移除主安全组默认的允许所有出站规则 0.0.0.0/，则必须添加一条规则，以允许与您的安全组建立出站 TCP 连接，从而在端口 9443 上访问服务。您的服务访问安全组应允许来自主安全组端口 9443 上的入站 TCP 流量。有关配置安全组的更多信息，请参阅适用于主实例（私有子网）的 Amazon EMR 托管安全组。

您可以使用 Amazon CloudFormation 配置 Amazon EMR 托管扩展。有关更多信息，请参阅《Amazon CloudFormation 用户指南》中的 AWS::EMR::Cluster。

如果您使用的是竞价型节点，请考虑使用节点标签来防止 Amazon EMR 在 Amazon EMR 删除竞价型节点时删除应用程序进程。有关节点标签的更多信息，请参阅任务节点。

Amazon EMR 6.15 或更低版本默认不支持节点标签。有关更多信息，请参阅了解节点类型：主节点、核心节点和任务节点。。

如果您使用的是 Amazon EMR 6.15 或更低版本，则只能按节点类型分配节点标签，比如核心节点和任务节点。但是，如果您使用的是 Amazon EMR 7.0 或更高版本，则可以按节点类型和市场类型配置节点标签，比如按需型和竞价型。

如果将应用程序进程限制为核心节点时，应用程序进程需求增加而执行程序需求减少，则可以在同一调整大小操作中重新添加核心节点并删除任务节点。有关更多信息，请参阅了解节点分配策略和场景。

Amazon EMR 不会标记任务节点，所以您不能设置 YARN 属性来限制应用程序进程仅用于任务节点。但如果要使用市场类型作为节点标签，则可以使用 ON_DEMAND 或 SPOT 标签来放置应用程序进程。建议不要在应用程序主进程中使用竞价型节点。

使用节点标签时，当 Amazon EMR 停用某些实例时，集群中的总运行单位可能会暂时超过托管扩展策略中设置的最大计算量。请求的总单位数将始终保持在或低于策略的最大计算量。

托管扩展仅支持节点标签 ON_DEMAND 和 SPOT 或 CORE 和 TASK。不支持自定义节点标签。

Amazon EMR 会在创建集群和预置资源时创建节点标签。Amazon EMR 不支持在重新配置集群时添加节点标签。启动集群后配置托管扩展时，您也不能修改节点标签。

托管扩展可根据应用程序进程和执行程序需求独立扩展核心节点和任务节点。为防止核心节点缩减时出现 HDFS 数据丢失问题，请遵循核心节点的标准做法。要了解有关核心节点和 HDFS 复制的最佳实践的更多信息，请参阅注意事项和最佳实践。

不能将应用程序进程和执行程序都放置在 core 或 ON_DEMAND 节点上。如果要在其中一个节点上同时添加应用程序进程和执行程序，请不要使用 yarn.node-labels.am.default-node-label-expression 配置。

例如，要将应用程序进程和执行程序都放置在 ON_DEMAND 节点中，请将最大计算量设置为与 ON_DEMAND 节点中的最大计算量相同。同时删除 yarn.node-labels.am.default-node-label-expression 配置。

要在 core 节点上同时添加应用程序进程和执行程序，请删除 yarn.node-labels.am.default-node-label-expression 配置。

当您在节点标签中使用托管扩展时，如果计划并行运行多个应用程序，请设置属性 yarn.scheduler.capacity.maximum-am-resource-percent: 1。这样可确保您的应用程序进程充分利用可用的 CORE 或 ON_DEMAND 节点。

当您在节点标签中使用托管扩展时，请将属性 yarn.resourcemanager.decommissioning.timeout 设置为比集群中运行时间最长的应用程序更长的值。这样减少了 Amazon EMR 托管扩展需要重新安排应用程序以重新调试 CORE 或 ON_DEMAND 节点的可能性。