创建 Amazon MSK Replicator 的要求和注意事项 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 Amazon MSK Replicator 的要求和注意事项

请注意运行 Amazon MSK Replicator 的这些MSK集群要求。

创建MSK复制器所需的权限

以下是创建MSK复制器所需的IAM策略示例。只有在创建 MSK Re kafka:TagResource plicator 时提供了标签时才需要执行该操作。应将复制器IAM策略附加到与您的客户端对应的IAM角色。有关创建授权策略的信息,请参阅创建授权策略

{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor1", "Effect": "Allow", "Action": [ "iam:PassRole", "iam:CreateServiceLinkedRole", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups", "ec2:CreateNetworkInterface", "ec2:DescribeVpcs", "kafka:CreateReplicator", "kafka:TagResource" ], "Resource": "*" } ] }

以下是描述复制器的IAM策略示例。需要 kafka:DescribeReplicator 操作或 kafka:ListTagsForResource 操作之一即可,而不是两者都需要。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor1", "Effect": "Allow", "Action": [ "kafka:DescribeReplicator", "kafka:ListTagsForResource" ], "Resource": "*" } ] }

支持的集群类型和版本

这些是对支持的实例类型、Kafka 版本和网络配置的要求。

  • MSKReplicator 支持MSK预配置集群和MSK无服务器集群的任意组合,作为源集群和目标集群。MSKReplicator 目前不支持其他类型的 Kafka 集群。

  • MSK无服务器集群需要IAM访问控制,不支持 Apache Kafka ACL 复制,并且对主题配置复制的支持有限。请参阅 MSK Serverless

  • MSK只有运行 Apache Kafka 2.7.0 或更高版本的集群才支持 Replicator,无论您的源集群和目标集群位于相同还是不同集群中 Amazon 区域。

  • MSKReplicator 支持使用 m5.large 或更大实例类型的集群。不支持 t3.small 集群。

  • 如果您在MSK已配置集群中使用 MSK Replicator,则源集群和目标集群中至少需要三个代理。您可以在两个可用区的集群之间复制数据,但这些集群中至少需要四个代理。

  • 您的源集群和目标MSK集群必须位于同一个集群中 Amazon account。不支持跨不同账户的集群复制。

  • 如果源集群和目标MSK集群位于不同集群中 Amazon 区域(跨区域),MSKReplicator 要求源集群为其IAM访问控制方法开启多VPC私有连接。源集群上的其他身份验证方法不需要 Multi-VPC。如果您要VPC在同一个集群之间复制数据,则不需要 Multi- Amazon 区域。请参阅 单个区域中的 Amazon MSK 多VPC私有连接

  • 复制相同的主题名称(在控制台中保留相同的主题名称)需要运行 Kafka 版本 2.8.1 或更高版本的MSK集群。

  • 对于相同主题名称复制(在控制台中保留相同的主题名称)配置,为避免循环复制的风险,请不要更改 Re MSK plicator 创建的标题()__mskmr

MSK无服务器集群配置

  • MSKServerless 支持在创建主题期间为MSK无服务器目标集群复制以下主题配置:cleanup.policy、、compression.typemax.message.bytesretention.bytesretention.ms

  • MSK在主题配置同步期间,Serverless 仅支持以下主题配置:compression.typemax.message.bytesretention.bytesretention.ms

  • Replicator 在目标MSK无服务器集群上使用 83 个压缩分区。确保目标MSK无服务器集群有足够数量的压缩分区。请参阅 MSK无服务器配额

集群配置更改

  • 建议您在创建 MSK Replicator 之后不要开启或关闭分层存储。如果您的目标集群未分层,则无论您的源集群是否分层,都MSK不会复制分层存储配置。如果在创建复制器后在目标集群上开启分层存储,则需要重新创建复制器。如果要将数据从非分层集群复制到分层集群,则不应复制主题配置。请参阅在现有主题上启用和禁用分层存储

  • 创建MSK复制器后,请勿更改集群配置设置。群集配置设置将在MSK复制器创建期间进行验证。为避免MSK复制器出现问题,请勿在MSK创建复制器后更改以下设置。

    • 将MSK集群更改为 t3 实例类型。

    • 更改服务执行角色权限。

    • 禁用MSK多VPC私有连接。

    • 更改附加的集群基于资源的策略。

    • 更改集群安全组规则。