本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
端到端设置自定义域名
本主题介绍自定义域名的集群端配置。网络层(Network Load Balancer、DNS 和 TLS 证书)是您拥有的先决条件, Amazon 大数据博客上的 Amazon MSK 集群配置自定义域名
当您申请时custom.advertised.listeners,您的自定义域名会替换被覆盖的侦听器的默认地址。在应用配置之前,您的网络层必须准备就绪并经过验证。如果客户端无法解析自定义域,则会失去连接。
第 1 步:将自定义域名添加到您的 Amazon MSK 配置中
创建或更新包含该custom.advertised.listeners属性的 Amazon MSK 配置,与您在 Network Load Balancer 上配置的主机名和端口相匹配。对于以端口 9001—9003 的 Network Load Balancer 为前面的三代理 IAM 集群,请将该属性放入文件中。
custom.advertised.listeners=CLIENT_IAM://b-{broker_id}.example.com:9000+{broker_id}
然后创建配置,将文件作为服务器属性传递。
aws kafka create-configuration \ --name "custom-domain-iam" \ --description "Custom advertised listeners for CLIENT_IAM" \ --server-properties fileb://custom-domain-config.txt
使用fileb://(不是file://),以便将文件 Amazon CLI 读取为字节并对其进行 base64 编码。由于大{broker_id}括号的缘故,内联传递值很脆弱。在文件中保留{broker_id}字面意思,因为 Amazon MSK 会在申请时按经纪人解析该问题。响应会返回配置Arn和LatestRevision.Revision,您将在下一步中使用该配置。
步骤 2:应用配置
使用控制台UpdateClusterConfiguration、、、 Amazon CDK 或 Terraform 将配置应用于您的集群。 Amazon CLI Amazon CloudFormation这与您已经用于代理配置更改的工作流程相同。
aws kafka update-cluster-configuration \ --cluster-arnyour-cluster-arn\ --configuration-info arn=configuration-arn,revision=revision\ --current-versioncurrent-cluster-version
使用DescribeCluster操作查找集群的当前版本。集群版本不是简单的整数。
Amazon MSK 会在应用任何内容之前同步验证配置,因此格式错误的值永远不会到达您的经纪人。Amazon MSK 拒绝了出现 HTTP 400 错误的无效配置。有关错误示例,请参阅自定义域名配置错误。修复报告的问题并重新申请。
第 3 步:跟踪部署
aws kafka describe-cluster-operation-v2 \ --cluster-operation-arnoperation-arn
配置被接受后,Amazon MSK 会通过滚动重启来应用该配置。等到操作报告UPDATE_COMPLETE。如果它举报UPDATE_FAILED,则经纪人无法应用更改。该经纪商的部署已停止,其余经纪商保留其先前的配置,您可以修复配置并重新应用它进行恢复。
第 4 步:验证
通过列出来自使用监听器身份验证设置的客户端的主题,确认客户端可以通过自定义域进行连接。
如果您可以通过自定义域终端节点列出主题,则表示客户端成功地通过您的自定义域进行连接。如果已报告操作UPDATE_COMPLETE但客户端无法连接,则说明集群端配置正确,但您的网络层可能需要注意。请检查以下事项:
-
网络路径:确认客户端正在使用的代理和端口的 Network Load Balancer 侦听器、目标组和安全组规则存在,并且可以从客户端的网络访问网络负载均衡器。
-
DNS 解析:确认自定义域已从运行 Apache Kafka 客户端的每个网络解析到您的网络负载均衡器。
-
证书:确认网络负载均衡器的 TLS 证书涵盖已解析的代理主机名(通过公用名或主题备用名称),并且客户端信任 CA(私有 CA 的根和中间位置)。
最佳实践
使用上述步骤设置自定义域名后,我们建议您通过kafka-configs.sh --alter --delete-config advertised.listeners在每个代理上运行来删除任何动态advertised.listeners覆盖。这只会移除通告的监听器覆盖,并且不会影响其他动态配置。
扩展和代理更换
当您扩展集群或在自动修复期间替换代理时,Amazon MSK 会自动将配置应用于新的代理。Amazon MSK 会解析{broker_id}经纪商的 ID,无需在集群端执行任何手动步骤。
为任何新代理添加相应的 Network Load Balancer 侦听器、目标组和 DNS 记录。网络层不会自动扩展。
移除自定义域名
要恢复到默认的亚马逊 MSK-generated 地址,请从您的 Amazon MSK 配置中删除该custom.advertised.listeners属性,然后使用UpdateClusterConfiguration应用更新的配置。Amazon MSK 执行滚动重启,经纪人恢复为宣传其原始地址。在删除自定义域名配置之前,请确保您的客户可以访问原始的 Amazon MSK-generated 地址。