Modifying the WLM configuration - Amazon Redshift
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

Modifying the WLM configuration

修改 WLM 配置的最简单方法是使用 Amazon Redshift 控制台。您还可以使用 AWS CLI 或 Amazon Redshift API。

在自动和手动 WLM 之间切换集群时,集群将进入 pending reboot 状态。在下次集群重新启动之前,更改不会生效。

有关修改WLM配置的详细信息,请参阅 配置工作负载管理Amazon Redshift Cluster Management Guide.

Migrating from manual WLM to automatic WLM

为了最大限度地提高系统吞吐量和高效地使用资源,我们建议您为队列设置自动 WLM。考虑采用以下方法设置从手动 WLM 到自动 WLM 的平滑过渡。

要从手动 WLM 迁移到自动 WLM 并使用查询优先级,我们建议您创建新参数组,然后将该参数组附加到集群。有关详细信息,请参阅 Amazon Redshift 参数组Amazon Redshift Cluster Management Guide..

重要

要更改参数组或从手动切换到自动 WLM,需要重新启动集群。有关更多信息,请参阅 WLM dynamic and static configuration properties。)

我们举一个例子,其中有三个手动 WLM 队列。每个队列分别对应于 ETL 工作负载、分析工作负载和数据科学工作负载。ETL 工作负载每 6 小时运行一次,分析工作负载全天运行,而数据科学工作负载可能随时激增。使用手动 WLM,您可以根据您对每个工作负载对业务重要性的理解来指定每个工作负载队列所获得的内存和并发性。指定内存和并发性不仅难以弄清楚,而且还会导致集群资源被静态分区,而导致在只有一部分工作负载在运行时浪费资源。

您可以将自动 WLM 与查询优先级一起使用,以指示工作负载的相对优先级,从而避免前面的问题。对于此示例,请执行以下步骤:

  • Create a new parameter group and switch to Auto WLM mode.

  • Add queues for each of the three workloads: ETL workload, analytics workload, and data science workload. Use the same user groups for each workload that was used with Manual WLM mode.

  • Set the priority for the ETL workload to High, the analytics workload to Normal, and the data science to Low. These priorities reflect your business priorities for the different workloads or user groups.

  • Optionally, enable concurrency scaling for the analytics or data science queue so that queries in these queues get consistent performance even when the ETL workload is executing every 6 hours.

使用查询优先级,当只有分析工作负载在集群上运行时,它会使整个系统自身产生高吞吐量和最佳系统利用率。但是,当 ETL 工作负载启动时,它会获得先行权,因为它具有更高的优先级。除了在被接纳之后的优先资源分配之外,作为 ETL 工作负载的一部分运行的查询在被接纳期间也会获得优先级。因此,无论系统上运行的是什么其他内容,ETL 工作负载都可以按预测的方式执行。高优先级工作负载的可预测性能是以其他较低优先级工作负载为代价的,这些工作负载运行时间更长,因为它们的查询在等待更重要的查询完成。或者,因为当它们与更高优先级的查询同时运行时,它们获得的资源比例较小。Amazon Redshift 使用的调度算法可确保较低优先级的查询不会遭受资源匮乏,而是继续取得进展,尽管速度较慢。

注意
  • The timeout field is not available in automatic WLM. Instead, use the QMR rule, query_execution_time. For more information, see WLM query monitoring rules.

  • The QMR action, HOP, is not applicable to automatic WLM. Instead, use the change priority action. For more information, see WLM query monitoring rules.

  • Within a parameter group, avoid mixing automatic WLM queues and manual WLM queues. Instead, create a new parameter group when migrating to automatic WLM.