自动扩展 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动扩展

您可以为 Apache Kafka 配置 Amazon 托管流媒体,以便使用应用程序自动扩展策略,以应对使用量增加的情况,自动扩展集群的存储空间。您的 auto-scaling 策略将设置目标磁盘利用率和最大扩展容量。

注意

Amazon MSK 不会因减少使用量而减少集群存储空间。Amazon MSK 不支持减小存储卷的大小。如果需要减小集群存储的大小,则必须将现有集群迁移到存储空间较小的集群。有关迁移集群的信息,请参阅迁移.

注意

Amazon MSK 不支持在亚太地区(大阪)和非洲(开普敦)区域推出弹性伸缩。

MSK 存储自动扩展详细信息

弹性伸缩策略为您的集群定义以下参数:

  • 存储利用率目标:Amazon MSK 用于触发弹性 auto-scaling 操作的存储使用率阈值。您可以将利用率目标设置为当前存储容量的 10% 到 80% 之间。我们建议您将存储利用率目标设置在 50% 到 60% 之间。

  • 最大存储容量:此设置是亚马逊 MSK 可以设置经纪商存储的最大扩展限制。您可以将每个代理商的最大存储容量设置为 16 TiB。有关更多信息,请参阅 Amazon MSK 配额

当服务检测到Maximum Disk Utilization指标等于或大于Storage Utilization Target设置时,它将自动增加存储容量。Amazon MSK 首先将您的群集存储扩展为两个数字中较大的数字:10 GiB 和当前存储空间的 10%。例如,如果你有 1000 GiB,那么该数量为 100 GiB。进一步的扩展操作会增加存储量。该服务每分钟检查您的存储利用率。

您可以使用列出群集操作operation.

为您的亚马逊 MSK 集群设置自动扩展

您可以使用亚马逊 MSK 控制台或亚马逊 MSK API 实施自动扩展存储空间。

注意

在您创建集群时,无法实现自动扩展。您必须首先创建群集,然后为其创建并启用自动扩展策略。但是,您可以在 Amazon MSK 服务创建群集的同时创建策略。

使用设置自动扩展Amazon Web Services Management Console

  1. 登录到Amazon Web Services Management Console,然后在以下位置打开亚马逊 MSK 控制台https://console.aws.amazon.com/msk/home?region=us-east-1#/home/.

  2. 在集群列表中,选择您的集群。这会将您带到集群的详细信息页.

  3. 存储的弹性伸缩部分,选择配置.

  4. 创建并命名 auto-scaling 策略。指定存储利用率目标、最大存储容量和目标指标。

  5. 选择 Save changes

当您保存并启用新策略时,该策略对群集将变为活动状态。然后,当达到存储利用率目标时,Amazon MSK 将扩展群集的存储空间。

使用 CLI 设置自动扩展

  1. 使用RegisterScalableTarget命令可注册存储使用率目标。

  2. 使用PutScalingPolicy命令来创建自动扩展策略。

使用 API 设置自动扩展

  1. 使用RegisterScalableTarget用于注册存储利用率目标的 API。

  2. 使用PutScalingPolicy用于创建自动扩展策略的 API。