自动扩展 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动扩展

您可以为 Apache Kafka 配置 Amazon 托管流媒体,以便使用应用程序自动扩展策略,以应对使用量增加的情况,自动扩展集群的存储空间。您的 auto-scaling 策略将设置目标磁盘利用率和最大扩展容量。

注意

Amazon MSK 服务不会因减少使用量而减少集群存储空间。Amazon MSK 不支持减少存储卷的大小。如果您需要减小集群存储的大小,则必须将现有集群迁移到具有较小存储的集群中。有关迁移集群的信息,请参阅迁移.

MSK 存储自动扩展详细信息

您的自动扩展策略为集群定义了以下参数:

  • 存储利用率目标:Amazon MSK 用于触发 auto-scaling 操作的存储利用率阈值。您可以将利用率目标设置为当前存储容量的 10% 至 80% 之间。我们建议您将存储利用率目标设置在 50% 到 60% 之间。

  • 最大存储容量:此设置是亚马逊 MSK 可以设置经纪商存储的最大扩展限制。您可以将每个代理商的最大存储容量设置为 16 TiB。有关更多信息,请参阅Amazon MSK 配额

当服务检测到Maximum Disk Utilization指标等于或大于Storage Utilization Target设置时,它将自动增加存储容量。Amazon MSK 首先将您的群集存储扩展为两个数字中较大的数字:10 GiB 和当前存储空间的 10%。例如,如果你有 1000 GiB,那么该数量为 100 GiB。进一步的扩展操作会增加存储量。该服务每分钟检查您的存储利用率。

重要

存储扩展在事件之间的冷却时间至少为六个小时。尽管该操作立即提供了额外的存储空间,但该服务对您的集群执行优化,这可能需要长达 24 小时或更长时间。这些优化的持续时间与您的存储大小成正比。要更快地反复扩展存储容量,请使用UpdateBrokerStorageoperation. 有关正确调整存储大小的信息,请参阅将集群设置为正确大小.

您可以使用列出群集操作operation.

为您的亚马逊 MSK 集群设置自动扩展

您可以使用亚马逊 MSK 控制台或亚马逊 MSK API 实施自动扩展存储空间。

注意

在您创建集时,您无法实现自动扩展。您必须首先创建群集,然后为其创建并启用自动扩展策略。但是,您可以在 Amazon MSK 服务创建群集的同时创建策略。

使用设置自动扩展Amazon Web Services Management Console

  1. 登录到Amazon Web Services Management Console,然后在以下位置打开亚马逊 MSK 控制台https://console.aws.amazon.com/msk/home?region=us-east-1#/home/.

  2. 在集群列表中,选择您的集群。这将您带到集群的详细信息页.

  3. 自动扩展存储部分,选择配置.

  4. 创建和命名 auto-scaling 策略。指定存储利用率目标、最大存储容量和目标指标。

  5. 选择 Save changes

当您保存并启用新策略时,该策略对群集将变为活动状态。然后,当达到存储利用率目标时,Amazon MSK 将扩展群集的存储空间。

使用 CLI 设置自动扩展

  1. 使用RegisterScalableTarget命令可注册存储利用率目标。

  2. 使用PutScalingPolicy命令来创建自动扩展策略。

使用 API 设置自动扩展

  1. 使用RegisterScalableTarget用于注册存储利用率目标的 API。

  2. 使用PutScalingPolicy用于创建自动扩展策略的 API。