使用 MSK Replicator 从一个 Amazon MSK 集群迁移到另一个集群 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 MSK Replicator 从一个 Amazon MSK 集群迁移到另一个集群

您可以对集群迁移使用相同的主题名称复制,但您的使用者必须能够在不影响下游的情况下处理重复的消息。这是因为 MSK Replicator 提供了 at-least-once 复制功能,在极少数情况下可能会导致消息重复。如果您的消费者满足此要求,请按照以下步骤操作。

  1. 创建一个 Replicator,将数据从旧集群复制到新集群,将 Replicator 的起始位置设置为 “最早”,并使用相同的主题名称复制(在控制台中保留相同的主题名称)。

  2. 在新集群上配置集群级别的设置和权限。您无需配置主题级别的设置和 “文字” 读取ACLs,因为 Replic MSK ator 会自动复制它们。

  3. 在 Amazon 中监控该MessageLag指标, CloudWatch 直到该指标达到 0,表示所有数据都已复制。

  4. 复制完所有数据后,停止生产者向旧集群写入数据。

  5. 重新配置这些生产者以连接到新集群并启动它们。

  6. 监控消费者从旧集群读取数据的MaxOffsetLag指标,直到其变成0,这表明所有现有数据都已处理。

  7. 停止连接到旧集群的消费者。

  8. 重新配置使用者以连接到新集群并启动它们。