的自动扩展存储Amazon MSK 集群 - Amazon Managed Streaming for Apache Kafka
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

的自动扩展存储Amazon MSK 集群

您可以使用 Application Auto-Scaling 策略将 Amazon Managed Streaming for Apache Kafka 配置为自动扩展集群的存储,以响应增加的使用量。您的自动扩展策略将设置目标磁盘利用率和最大扩展容量。

注意

服务不会减少集群存储以响应减少用量。Amazon MSK 不支持减小存储卷的大小。Amazon MSK如果您需要减小集群存储的大小,则必须将现有集群迁移到具有较小存储的集群。有关迁移集群的信息,请参阅迁移

MSK 存储自动扩展详细信息

您的 Auto Scaling 策略为您的集群定义以下参数:

  • 存储利用率目标:用于触发自动扩展操作的存储利用率阈值。Amazon MSK您可以将使用率目标设置为当前存储容量的 10% 到 80% 之间。我们建议您将存储利用率目标设置为 50% 到 60%。

  • 最大存储容量:此设置是 Amazon MSK 可设置您的代理存储的最大扩展限制。每个代理的最大存储容量可以设置为最多 16 个 TiB。有关更多信息,请参阅Amazon MSK 限制

当服务检测到您的 Maximum Disk Utilization 指标等于或大于 Storage Utilization Target 设置时,它将自动增加存储容量。Amazon MSK 首先将集群存储扩展两个数字中较大的数字:10 GiB 和当前存储空间的 10%。例如,如果您有 1000 个 GiB,则该数量为 100 个 GiB。 更多的扩展操作会增加存储量。该服务每分钟检查您的存储利用率。

注意

Auto Scaling 在事件之间的冷却时间至少为 6 小时。即使该操作可使额外存储立即可用,该服务也会对您的集群执行可能需要长达 24 小时的优化。这些优化的持续时间与存储大小成正比。要更快地反复扩展存储容量,请使用 UpdateBrokerStorage 操作手动设置存储容量。有关正确调整存储大小的信息,请参阅将集群设置为正确大小

您可以使用 ListClusterOperations 操作进行检查以确定是否发生了 Auto Scaling 操作。

为 Amazon MSK 集群设置自动扩展

您可以使用 Amazon MSK 控制台或 Amazon MSK API 实施自动扩展存储。

注意

创建集群时,无法实施自动扩展。您必须先创建集群,然后为其创建并启用自动扩展策略。但是,您可以在 Amazon MSK 服务创建集群时创建策略。

使用 AWS 管理控制台 设置自动扩展

  1. 登录到 AWS 管理控制台 并通过以下网址打开 Amazon MSK 控制台:https://console.amazonaws.cn/msk/home?region=us-east-1#/home/

  2. 导航到 Cluster Details (集群详细信息) 页面。

  3. 创建并命名自动扩展策略。指定存储利用率目标、最大存储容量和目标指标 (KafkaDataLogsDiskUsed)。

  4. 保存并启用新策略。

当您保存并启用新策略时,集群的策略将变为活动状态。然后,Amazon MSK 会在达到存储利用率目标时扩展集群的存储。

使用 CLI 设置自动扩展

  1. 使用 RegisterScalableTarget 命令注册存储利用率目标。

  2. 使用 PutScalingPolicy 命令创建自动扩展策略。

使用 API 设置自动扩展