使用 Presto Auto Scaling with Graceful Decommission - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Presto Auto Scaling with Graceful Decommission

Amazon EMR 版本5.30.0和更高版本包括一个功能,您可以使用它为某些缩放操作设置宽限期。宽限期允许Presto任务在节点终止之前保持运行,因为需要调整比例调整操作或自动调整策略请求。有关缩放规则的更多信息,请参阅 了解自动缩放规则Amazon EMR 管理指南. Presto优雅的自动扩展可防止在停用的节点上调度新任务,同时允许已在运行的任务在达到关闭超时之前完成。正在运行的查询将在节点停用之前完成执行。实例队列不支持自动扩展。

您可以控制在收到自动缩放关闭请求后,允许Presto任务完成的时间。默认情况下,关闭超时时间 Amazon EMR 是 0 分钟,这意味着 Amazon EMR 如果Scale-in请求有要求,立即终止节点及其上运行的任何Presto任务。要为上的Presto任务设置更长的超时时间 Amazon EMR 要在缩小群集之前允许完成运行查询,请使用 presto-config 配置分类以设置 graceful-shutdown-timeout 参数到大于零的值(以秒或分钟为单位)。有关更多信息,请参阅配置应用程序

例如,增加 graceful-shutdown-timeout 值到 "30m" 指定30分钟的超时期。关闭超时时间结束后,等待查询任务完成,标记为停用的节点强制终止,查询失败。如果查询任务在五分钟内完成,标记为停用的节点将在五分钟后终止,前提是其他YARN申请已完成执行。

例 带正常停用的 Presto 自动扩展配置示例

graceful-shutdown-timeout 值替换为适合您的设置的分钟数。没有最大值。下面的示例将超时值设置为 1800 秒(30 分钟)。

[ { "classification": "presto-config", "properties": { "graceful-shutdown-timeout": "1800s" } } ]

限制

PrestoDB 在禁用HTTP连接的EMR群集上,当 http-server.http.enabled 设定为 false。 PrestoSQL 完全不支持优雅停用,无论 http-server.http.enabled 设置。