使用 MSK 复制器在 Amazon MSK 集群之间迁移 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 MSK 复制器在 Amazon MSK 集群之间迁移

您可以使用相同主题名称复制进行集群迁移,但您的消费者必须能够处理重复消息而不会对下游造成影响。这是因为 MSK Replicator 提供了 at-least-once复制功能,这在极少数情况下可能会导致消息重复。如果您的消费者满足此要求,请按照以下步骤进行操作。

  1. 创建一个用于将数据从旧集群复制到新集群的复制器,将复制器的起始位置设置为最早,且使用相同主题名称复制(控制台中为保留相同的主题名称)。

  2. 在新集群上配置集群级别的设置和权限。您无需配置主题级别的设置和 “文字” 读取 ACLs,因为 MSK Replicator 会自动复制它们。

  3. 在 Amazon 中监控该MessageLag指标, CloudWatch 直到该指标达到 0,表示所有数据都已复制。

  4. 所有数据复制完成后,停止生产者将数据写入旧集群。

  5. 重新配置这些生产者以连接到新的集群并启动它们。

  6. 监控您的消费者从旧集群读取数据的 MaxOffsetLag 指标,直到它变为 0,这表明所有现有数据都已处理。

  7. 停止连接到旧集群的消费者。

  8. 重新配置消费者以连接到新集群并启动它们。