步骤 4:在 Amazon MSK 集群中创建主题
在开始使用 Amazon MSK 的此步骤中,您需在客户端计算机上安装 Apache Kafka 客户端库和工具,然后创建主题。
警告
本教程中使用的 Apache Kafka 版本号仅为示例。建议您使用与 MSK 集群版本相同的客户端版本。客户端版本较旧可能会缺少某些功能和关键错误修复。
查找 MSK 集群的版本
转到 https://eu-west-2.console.aws.amazon.com/msk/
选择 MSK 集群。
请注意集群上所用 Apache Kafka 的版本。
将本教程中的 Amazon MSK 版本号实例替换为在步骤 3 中获得的版本。
在客户端计算机上创建主题
通过以下网址打开 Amazon EC2 控制台:https://console.aws.amazon.com/ec2/
。 -
在导航窗格中,选择实例。然后选中您在 步骤 3:创建客户端计算机 中创建的客户端计算机名称旁边的复选框。
-
选择 Actions (操作),然后选择 Connect (连接)。按照控制台中的说明,连接到您的客户端计算机。
-
通过运行以下命令在客户端计算机上安装 Java:
sudo yum -y install java-11
-
运行以下命令以下载 Apache Kafka。
wget https://archive.apache.org/dist/kafka/{YOUR MSK VERSION}/kafka_2.13-{YOUR MSK VERSION}.tgz
注意
如果您希望使用此命令中使用的镜像站点之外的镜像站点,则可在 Apache
网站上选择其他镜像站点。 -
在上一步中将 TAR 文件下载到的目录中运行以下命令。
tar -xzf kafka_2.13-{YOUR MSK VERSION}.tgz
-
转到
kafka_2.13-{YOUR MSK VERSION}/libs
目录,然后运行以下命令以下载 Amazon MSK IAM JAR 文件。Amazon MSK IAM JAR 让客户端计算机可以访问集群。wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar
转到
kafka_2.13-{YOUR MSK VERSION}/bin
目录。复制以下属性设置并将其粘贴到新文件中。为文件client.properties
命名并保存文件。security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
在 https://console.amazonaws.cn/msk/
打开 Amazon MSK 控制台。 -
等待集群的状态变为活动。这可能需要花几分钟的时间。在状态变为活动后,选择集群名称。这会将您引导至包含集群摘要的页面。
-
选择查看客户端信息。
-
复制私有端点的连接字符串。
您将为每个代理获得三个端点。在以下步骤中,您只需要一个代理端点。
-
运行以下命令,将
BootstrapServerString
替换为您在上一步中获得的某个代理端点。<path-to-your-kafka-installation>
/bin/kafka-topics.sh --create --bootstrap-server BootstrapServerString --command-config client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic如果此命令成功,您将看到以下消息:
Created topic MSKTutorialTopic.
下一步