步骤 4:创建主题 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

步骤 4:创建主题

开始使用 Amazon MSK 的此步骤中,您需在客户端计算机上安装 Apache Kafka 客户端库和工具,然后创建主题。

警告

本教程中使用的 Apache Kafka 版本号仅为示例。建议您使用与 MSK 集群版本相同的客户端版本。客户端版本较旧可能会缺少某些功能和关键错误修复。

查找 MSK 集群的版本
  1. 转到 https://eu-west-2.console.aws.amazon.com/msk/

  2. 选择 MSK 集群。

  3. 请注意集群上所用 Apache Kafka 的版本。

  4. 将本教程中的 Amazon MSK 版本号实例替换为在步骤 3 中获得的版本。

在客户端计算机上创建主题
  1. 通过以下网址打开 Amazon EC2 控制台:https://console.aws.amazon.com/ec2/

  2. 在导航窗格中,选择 Instances (实例)。然后选中您在 步骤 3:创建客户端计算机 中创建的客户端计算机名称旁边的复选框。

  3. 选择 Actions (操作),然后选择 Connect (连接)。按照控制台中的说明,连接到您的客户端计算机。

  4. 通过运行以下命令在客户端计算机上安装 Java:

    sudo yum -y install java-11
  5. 运行以下命令以下载 Apache Kafka。

    wget https://archive.apache.org/dist/kafka/{YOUR MSK VERSION}/kafka_2.13-{YOUR MSK VERSION}.tgz
    注意

    如果您希望使用此命令中使用的镜像站点之外的镜像站点,则可在 Apache 网站上选择其他镜像站点。

  6. 在上一步中将 TAR 文件下载到的目录中运行以下命令。

    tar -xzf kafka_2.13-{YOUR MSK VERSION}.tgz
  7. 转到 kafka_2.13-{YOUR MSK VERSION}/libs 目录,然后运行以下命令以下载 Amazon MSK IAM JAR 文件。Amazon MSK IAM JAR 让客户端计算机可以访问集群。

    wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar
  8. 转到 kafka_2.13-{YOUR MSK VERSION}/bin 目录。复制以下属性设置并将其粘贴到新文件中。为文件 client.properties 命名并保存文件。

    security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
  9. https://console.amazonaws.cn/msk/ 打开 Amazon MSK 控制台。

  10. 等待集群的状态变为活动。这可能需要花几分钟的时间。在状态变为活动后,选择集群名称。这会将您引导至包含集群摘要的页面。

  11. 选择查看客户端信息

  12. 复制私有端点的连接字符串。

    您将为每个代理获得三个端点。在以下步骤中,您只需要一个代理端点。

  13. 运行以下命令,BootstrapServerString替换为您在上一步中获得的代理端点之一。

    <path-to-your-kafka-installation>/bin/kafka-topics.sh --create --bootstrap-server BootstrapServerString --command-config client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic

    如果此命令成功,您将看到以下消息:Created topic MSKTutorialTopic.

下一步

步骤 5:生成和使用数据