View a markdown version of this page

复制的工作原理 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

复制的工作原理

当您创建 Replicator 时,MSK Replicator 会在目标集群的 Amazon 区域中部署所有必需的资源,以优化数据复制延迟。MSK Replicator 会自动将主 Amazon 区域中名为源的集群中的所有数据复制到目标区域中名为目标的集群。源集群和目标集群可以位于相同或不同的 Amazon 区域。

复制延迟因许多因素而异,包括 MSK 集群 Amazon 区域之间的网络距离、源集群和目标集群的吞吐容量以及源集群和目标集群上的分区数量。MSK 复制器会自动扩缩底层资源,这样您就可以按需复制数据,而无需监控或扩展容量。

默认情况下,MSK 复制器将所有数据从源集群主题分区的最新偏移异步复制到目标集群。如果“检测和复制新的主题”设置已开启,则 MSK 复制器会自动检测新主题或主题分区并将其复制到目标集群。但是,复制器可能需要长达 30 秒的时间才能在目标集群上检测并创建新的主题或主题分区。在目标集群上创建主题之前,向源主题生成的任何消息都不会被复制。或者,如果要复制现有消息,可以在创建期间将 Replicator 配置为从最早的偏移量开始复制。

MSK 复制器不存储您的数据。从源集群中消耗数据,在内存中进行缓冲,然后写入目标集群。当数据成功写入或重试失败后,缓冲区会自动清除。MSK Replicator 与您的集群之间的所有通信和数据始终在传输过程中进行加密。所有 MSK Replicator API 调用(例如DescribeClusterV2CreateTopic,)DescribeTopicDynamicConfiguration都将在中捕获。 Amazon CloudTrail

MSK Replicator 在目标集群中创建重复因子为 3 的主题。如果需要,您可以直接在目标集群上修改复制因子。

MSK 复制器源集群和目标集群