本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为您的 Amazon MSK 集群配置自定义域名
您可以将 MSK Provisioned 集群配置为发布自定义域名,而不是默认 Amazon生成的代理地址。自定义域名在您的 Amazon MSK 配置中定义一次,并自动应用于集群中的每个代理,包括在扩展操作期间添加的新代理。这既适用于Kraft元数据管理模式 ZooKeeper ,也适用于Kraft元数据管理模式。
自定义域名的工作原理
当您将该custom.advertised.listeners属性添加到 Amazon MSK 配置时,Amazon MSK 会执行以下操作:
-
验证配置(监听器名称、格式和唯一性)。
-
解析每个经纪商的
{broker_id}模板。 -
通过滚动重启来应用配置,一次只能使用一个代理。
该属性采用以下格式。
custom.advertised.listeners=LISTENER_NAME://hostname-pattern:port+{broker_id}
例如,在具有三个代理的 IAM 集群上:
custom.advertised.listeners=CLIENT_IAM://b-{broker_id}.example.com:9000+{broker_id}
这会解析为以下地址:
-
经纪人 1:
b-1.example.com:9001 -
经纪人 2:
b-2.example.com:9002 -
经纪人 3:
b-3.example.com:9003
{broker_id}模板变量是必需的,并且必须出现在端口中,这样每个代理才能解析为唯一的地址。+运营商将经纪商 ID 添加到基本端口(9000 + 1 = 9001、9000 + 2 = 9002、9000 + 10 = 9010)。
如果您的集群有多个面向客户端的侦听器,则可以通过用逗号分隔来为每个监听器分配不同的域。
custom.advertised.listeners=CLIENT_IAM://b-{broker_id}.iam.example.com:9000+{broker_id},CLIENT_SASL_SCRAM://b-{broker_id}.scram.example.com:19000+{broker_id}
每个监听器都映射到一个自定义域。您不能将多个域分配给同一个监听器。但是,听众可以共享相同的域名,前提是每个域名都解析为每个经纪商的唯一host:port组合。例如,两个监听器只能通过端口共享b-{broker_id}.example.com和区别。
custom.advertised.listeners=CLIENT_IAM://b-{broker_id}.example.com:9000+{broker_id},CLIENT_SASL_SCRAM://b-{broker_id}.example.com:19000+{broker_id}
这种行为在 ZooKeeper Kraft 元数据管理模式下是相同的。
当您申请时custom.advertised.listeners,您的自定义域名会替换被覆盖的侦听器的默认地址。因此,在应用配置之前,您的网络层必须准备就绪并经过验证。如果网络和信任层不存在、无法解析、无法访问且无法从客户端获得信任,则客户端将无法重新连接。即使客户端刚刚连接过,也是如此。如果客户端无法解析自定义域,则会失去连接。
先决条件
在集群上配置自定义域名之前,请确保满足以下条件:
-
您的集群是状态为 MSK 预配置的集群(标准或快速代理)。
ACTIVE -
每个监听器对应于您的集群上的一种身份验证类型。您只能为客户端侦听器设置自定义广告终端节点:
CLIENT、CLIENT_SECURE、CLIENT_SECURE_PUBLIC、、CLIENT_SASL_SCRAMCLIENT_SASL_SCRAM_PUBLICCLIENT_IAM、和。CLIENT_IAM_PUBLIC不支持内部监听器(REPLICATION和CONTROLLER),在验证时会被拒绝。您指定的监听器还必须绑定(活动)到您的集群上。例如,如果您的集群仅使用 IAM 身份验证,CLIENT_SECURE则指定将被拒绝,并且错误消息会列出您的集群的有效客户端侦听器。 -
在应用配置之前,您的网络层已准备就绪并经过验证。应用该地址后,所有刷新元数据的客户端都会收到自定义域地址。如果客户端无法解析自定义域,则会失去连接。在应用配置之前,请确保您的网络层已设置完毕并且可以从所有客户端访问。有关网络负载均衡器、Route 53 和 Amazon 证书管理器设置的完整图表演练,请参阅 Amazon 大数据博客上的 Amazon MSK 集群配置自定义域名
。
从迁移 ZooKeeper 到 Kraft 模式
如果您当前使用kafka-configs.shadvertised.listeners动态设置 ZooKeeper 模式,则必须先在 Amazon MSK 配置custom.advertised.listeners中进行设置,然后才能开始从 ZooKeeper Kraft 模式迁移。就地升级会检查现有的动态通告侦听器覆盖。如果它检测到任何内容,则升级将无法继续,并且您会收到一条错误消息,要求您先将其删除。要获得无缝体验,请执行以下操作:
-
使用与您今天使用的相同域名模式
custom.advertised.listeners添加到您的 Amazon MSK 配置中。有关步骤,请参阅端到端设置自定义域名。 -
通过在每个代理
kafka-configs.sh --alter --delete-config advertised.listeners上运行来移除动态覆盖。这只会移除通告的监听器覆盖,并且不会影响其他动态配置。 -
启动迁移。
有关将集群迁移到 KraFT 模式的更多信息,请参阅迁移自 ZooKeeper 到 Kraft 模式。