第5步: 创建主题 - Amazon Managed Streaming for Apache Kafka
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第5步: 创建主题

开始使用 Amazon MSK 的此步骤中,您将在客户端计算机上安装 Apache Kafka 客户端库和工具,然后创建主题。

在客户端计算机上创建主题

  1. 打开 Amazon EC2 控制台 https://console.amazonaws.cn/ec2/

  2. 在导航窗格中,选择 实例,然后选择 AWSKafkaTutorialClient 通过选中旁边的复选框来操作。

  3. 选择 Actions (操作),然后选择 Connect (连接)。按照说明连接到客户端计算机 AWSKafkaTutorialClient.

  4. 通过运行以下命令在客户端计算机上安装 Java:

    sudo yum install java-1.8.0
  5. 运行以下命令以下载 Apache Kafka。

    wget https://archive.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz
    注意

    如果您希望使用此命令中使用的镜像站点之外的镜像站点,则可在 Apache 网站上选择其他镜像站点。

  6. 在上一步中将 TAR 文件下载到的目录中运行以下命令。

    tar -xzf kafka_2.12-2.2.1.tgz
  7. 转到 kafka_2.12-2.2.1 目录。

  8. 创建集群可能需要花费几分钟的时间。要查找您创建的群集是否准备就绪,请运行以下命令,替换 ClusterArn 和Amazon资源名称(ARN)的 第3步: 创建 Amazon MSK 集群.

    aws kafka describe-cluster --region us-east-1 --cluster-arn "ClusterArn"

    运行此命令的结果如以下 JSON 所示:

    { "ClusterInfo": { "BrokerNodeGroupInfo": { "BrokerAZDistribution": "DEFAULT", "ClientSubnets": [ "subnet-0d44a1567c2ce409a", "subnet-051201cac65561565", "subnet-08b4eceb2bd3bd8c2" ], "InstanceType": "kafka.m5.large", "SecurityGroups": [ "sg-041e78b0a8ba7f834" ], "StorageInfo": { "EbsStorageInfo": { "VolumeSize": 1000 } } }, "ClusterArn": "...", "ClusterName": "AWSKafkaTutorialCluster", "CreationTime": "2018-11-06T01:36:57.451Z", "CurrentBrokerSoftwareInfo": { "KafkaVersion": "" }, "CurrentVersion": "K3UN6WX5RRO2AG", "EncryptionInfo": { "EncryptionAtRest": { "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:012345678901:key/a7de6539-7d2e-4e71-a279-aaaa5555878" } }, "EnhancedMonitoring": "DEFAULT", "NumberOfBrokerNodes": 3, "State": "CREATING" } }

    如果命令的输出显示集群的状态仍为 CREATING,请等待几分钟,然后再次运行该命令。保持每隔几分钟运行一次此命令,直到状态变为 ACTIVE。当状态是 ACTIVE,此的输出 describe-cluster 命令包括一个名为 ZookeeperConnectString。复制与此键关联的整个值,因为您需要它在以下命令中创建ApacheKafka主题。

  9. 运行以下命令,替换 ZookeeperConnectString 使用运行 describe-cluster 命令。

    bin/kafka-topics.sh --create --zookeeper ZookeeperConnectString --replication-factor 3 --partitions 1 --topic AWSKafkaTutorialTopic

    如果此命令成功,您将看到以下消息:Created topic AWSKafkaTutorialTopic.

下一步

第6步: 生成和消耗数据