本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为带有自我管理的 Apache Kafka 集群的 MSK Replicator 设置先决条件
创建 IAM 执行角色
创建具有信任策略的 IAM 角色kafka.amazonaws.com。附加AWSMSKReplicatorExecutionRole托管策略。托管策略授予 Replicator 所需的集群级、主题级和消费者组级 Kafka 权限,但不包括身份验证和凭据 Amazon KMS 所需的 Amazon Secrets Manager 或权限。 SASL/SCRAM CMK-encrypted 有关要添加的内联策略片段,请参阅mTL 和客户管理密钥的其他 SER 权限 SASL/SCRAM SASL/OAUTHBEARER。
信任策略示例:
{ "Statement": [{ "Effect": "Allow", "Principal": {"Service": "kafka.amazonaws.com"}, "Action": "sts:AssumeRole" }] }
配置 SASL/SCRAM 用户和 ACL 权限
在自行管理的 Kafka 集群上创建专用 SCRAM 用户。需要以下 ACL 权限:
阅读、描述所有主题
阅读、描述所有消费者群体
描述群集资源
kafka-acls.sh 命令示例:
# Grant Read and Describe on all topics kafka-acls.sh --bootstrap-server <broker>:9092 \ --add --allow-principal User:msk-replicator \ --operation Read --operation Describe \ --topic '*' # Grant Read and Describe on all consumer groups kafka-acls.sh --bootstrap-server <broker>:9092 \ --add --allow-principal User:msk-replicator \ --operation Read --operation Describe \ --group '*' # Grant Describe on cluster kafka-acls.sh --bootstrap-server <broker>:9092 \ --add --allow-principal User:msk-replicator \ --operation Describe --cluster
在自管集群上配置 mTLS
使用在自行管理的 Kafka 代理上配置 SSL 侦听器。ssl.client.auth=required代理的信任库必须包含签署您将用于 MSK Replicator 的客户端证书的 CA 证书。
向根据客户端证书的可分辨名称 (DN) 派生的 Kafka 主体授予 ACL 权限。所需的权限是:所有主题的 “读取” 和 “描述”、“所有使用者组的 “读取” 和 “描述” 权限以及群集资源上的 “描述” 权限。
在自管集群上配置 SASL/OAUTHBEARER (OAuth)
使用 SASL/OAUTHBEARER,MSK Replicator 会从您的身份提供商 (IDP) 那里获取访问令牌,并在握手期间将其提供给您的自我管理的 Kafka 集群 (RFC 7628)。 SASL/OAUTHBEARER 使用已在中OAUTHBEARER启用的SASL_SSL侦听器配置您的经纪商sasl.enabled.mechanisms,并配置对您的 IDP 发行的代币的经纪端验证。
向 Kafka 委托人授予你的 IDP 将访问令牌映射到 MSK Replicator 在源集群上所需的 ACL 权限。
MSK Replicator 支持以下获取访问令牌的机制。在创建复制器时可以选择一个(参见CreateReplicator 自管理 Kafka 集群的 API 示例)。
客户凭证 — 标准
client_credentials授权(RFC 6749 §4.4)。您提供 aclient_id和client_secretin Amazon Secrets Manager。对于 Okta、Microsoft Entra ID、Keycloak 和谷歌等 IdP 使用这种机制。 PingFederateIAM JWT 持有人 — 智威汤逊持有人声明补助金 (RFC 7523)。MSK Replicator 使用服务执行角色的 Amazon 身份来获取已签名的 JWT,该JWT作为断言发送到令牌端点。不需要共享密钥,但如果您的 IDP 要求客户端也进行身份验证,则可以选择提供客户端凭据。
客户端凭证断言 — 使用 JWT 客户端断言的
client_credentials授权(RF 7521/7523 C §2.2)。服务执行角色签名的 JWT 用作对客户端client_assertion进行身份验证,无需共享密钥。
以下要求适用于令牌端点:
tokenEndpointUrl必须使用 HTTPS 方案并指定主机名(不允许使用 IP 地址文字,这样才能执行 TLS 主机名验证)。令牌终端节点必须可以从您为复制器提供的 VPC 子网访问。请参阅配置网络连接。
如果您的 IDP 出示了私有 CA 颁发的证书,请将 CA 证书存储在中 Amazon Secrets Manager 并在创建复制器
tokenEndpointTlsCertificateArn时引用该证书。
在自建集群上配置 SSL
在代理上配置 SSL 侦听器。对于公开信任的证书,无需进行其他配置。对于私有证书或自签名证书,请将完整的 CA 证书链包含在 Secrets Manager 中存储的 Amazon 密钥中。
将凭证存储在 Amazon Secrets Manager
在 Secrets Manager 中创建一个 “其他”(不是 RDS/Redshift)类型的 Amazon 密钥,其中包含适合您的身份验证类型的键值对。
对于 SASL/SCRAM:
username— 自建集群的 SCRAM 用户名password— 自行管理集群的 SCRAM 密码certificate— CA 证书链(PEM 格式; private/self签名证书是必需的)
对于 mTL 来说:
certificate— PEM-encoded 客户证书链privateKey— PEM-encoded 私钥privateKeyPassword—(可选)私钥的密码,仅加密的 PKCS8 密钥需要密码
对于 SASL/OAUTHBEARER:
密钥是客户端证书机制所必需的,对于 IAM JWT 持有者和客户端凭证断言机制也是可选的(仅当你的 IDP 要求客户端也进行身份验证时才提供该密钥)。秘密是一个由键值对组成的扁平JSON对象。MSK Replicator 可以识别以下密钥:
client_id— OAuth 客户端标识符。客户端凭证机制所必需的。client_secret— OAuth 客户端密钥。客户端凭证机制所必需的。custom_param.<name>—(可选)附加到令牌请求的表单参数,适用于需要超出标准 OAuth 设置的参数的 IdP。为每个参数添加一个密钥(例如,custom_param.resource)。custom_header.<name>—(可选)随令牌请求一起发送的其他 HTTP 标头。为每个标题添加一个密钥(例如,custom_header.X-Custom)。extension.<name>—(可选) SASL/OAUTHBEARER 握手期间发送给 Kafka 代理的 SASL 扩展,适用于在身份验证期间需要其他键值对的 Kafka 提供商。为每个分机添加一个密钥。
除client_id和之外client_secret不使用这些前缀之一的键将被忽略。以下是客户端凭证机制的密钥值示例:
{ "client_id": "my-oauth-client", "client_secret": "example-client-secret", "custom_param.resource": "urn:example:kafka" }
MSK Replicator 会拒绝参数名称与标准 OAuth 参数(例如、、、、、grant_typeclient_idclient_secretclient_assertion、client_assertion_type和)冲突的custom_param.条目。assertion scope它还会拒绝受限制的custom_header.条目Host,例如Authorization、和。Content-Type
配置网络连接
MSK Replicator 需要与您的自行管理的 Kafka 集群建立网络连接。支持的选项:
Amazon Site-to-Site VPN — 通过互联网将本地网络连接到您的 VPC。
Amazon Direct Connect — 建立从您的场所到的专用专用网络连接 Amazon。
如果您使用 SASL/OAUTHBEARER,则还必须能够从您为 Replicator 提供的 VPC 子网访问令牌终端节点。对于互联网托管的 IDP,这通常需要互联网网关、NAT 网关和路由表条目;对于本地或私有 IDP,请使用 Amazon Site-to-Site VPN 或 Direct Connect。 Amazon 令牌端点不得解析为环回、本地链路或 Amazon 元数据地址。
配置安全组
确保安全组允许身份验证侦听器使用的端口上的 MSK Replicator 和自管理集群之间的流量。更新 VPC 安全组的入站规则和自建集群防火墙上的出站规则。