本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
创建 Amazon MSK Replicator 的要求和注意事项
请注意运行 Amazon MSK Replicator 的这些MSK集群要求。
创建MSK复制器所需的权限
以下是创建MSK复制器所需的IAM策略示例。只有在创建 MSK Re kafka:TagResource
plicator 时提供了标签时才需要执行该操作。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor1", "Effect": "Allow", "Action": [ "iam:PassRole", "iam:CreateServiceLinkedRole", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups", "ec2:CreateNetworkInterface", "ec2:DescribeVpcs", "kafka:CreateReplicator", "kafka:TagResource" ], "Resource": "*" } ] }
以下是描述复制器的IAM策略示例。需要 kafka:DescribeReplicator
操作或 kafka:ListTagsForResource
操作之一即可,而不是两者都需要。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor1", "Effect": "Allow", "Action": [ "kafka:DescribeReplicator", "kafka:ListTagsForResource" ], "Resource": "*" } ] }
支持的集群类型和版本
这些是对支持的实例类型、Kafka 版本和网络配置的要求。
MSKReplicator 支持MSK预配置集群和MSK无服务器集群的任意组合,作为源集群和目标集群。MSKReplicator 目前不支持其他类型的 Kafka 集群。
MSK无服务器集群需要IAM访问控制,不支持 Apache Kafka ACL 复制,并且对主题配置复制的支持有限。请参阅 MSK Serverless。
MSK只有运行 Apache Kafka 2.7.0 或更高版本的集群才支持 Replicator,无论您的源集群和目标集群是位于相同区域还是位于不同的区域。 Amazon
MSKReplicator 支持使用 m5.large 或更大实例类型的集群。不支持 t3.small 集群。
-
如果您在MSK已配置集群中使用 MSK Replicator,则源集群和目标集群中至少需要三个代理。您可以在两个可用区的集群之间复制数据,但这些集群中至少需要四个代理。
您的源集群和目标MSK集群必须位于同一个 Amazon 账户中。不支持跨不同账户的集群复制。
-
如果源集群和目标MSK集群位于不同的 Amazon 区域(跨区域),则 MSK Replicator 要求源集群为其IAM访问控制方法开启多VPC私有连接。源集群上的其他身份验证方法不需要 Multi-VPC。如果您要VPC在同一 Amazon 区域的集群之间复制数据,则不需要 Multi-。请参阅 单个区域中的 Amazon MSK 多VPC私有连接。
MSK无服务器集群配置
MSKServerless 支持在创建主题期间为MSK无服务器目标集群复制以下主题配置:
cleanup.policy
、、compression.type
、max.message.bytes
、retention.bytes
。retention.ms
MSK在主题配置同步期间,Serverless 仅支持以下主题配置:
compression.type
、max.message.bytes
、retention.bytes
、retention.ms
。Replicator 在目标MSK无服务器集群上使用 83 个压缩分区。确保目标MSK无服务器集群有足够数量的压缩分区。请参阅 MSK无服务器配额。
集群配置更改
建议您在创建 MSK Replicator 之后不要开启或关闭分层存储。如果您的目标集群未分层,则无论您的源集群是否分层,都MSK不会复制分层存储配置。如果在创建复制器后在目标集群上开启分层存储,则需要重新创建复制器。如果要将数据从非分层集群复制到分层集群,则不应复制主题配置。请参阅在现有主题上启用和禁用分层存储。
创建MSK复制器后,请勿更改集群配置设置。群集配置设置将在MSK复制器创建期间进行验证。为避免MSK复制器出现问题,请勿在MSK创建复制器后更改以下设置。
将MSK集群更改为 t3 实例类型。
更改服务执行角色权限。
禁用MSK多VPC私有连接。
更改附加的集群基于资源的策略。
更改集群安全组规则。