创建 Amazon MSK 集群 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 Amazon MSK 集群

重要

创建集群之后便不能更改 Amazon MSK 集群的 VPC。

在创建 Amazon MSK 集群之前,您必须拥有一个 Amazon Virtual Private Cloud (VPC),并在该 VPC 内设置子网。

您需要在美国西部(北加利福尼亚)区域的两个不同可用区中使用两个子网。在提供 Amazon MSK 的其余区域中,您可以指定两到三个子网。您的子网必须位于不同的可用区中。在创建集群时,Amazon MSK 在您指定的子网之间平均分配代理节点。

代理类型

在创建 Amazon MSK 集群时,您可以指定其要使用的代理类型。Amazon MSK 支持以下代理类型:

  • kafka.t3.small

  • kafka.m5.large、kafka.m5.xlarge、kafka.m5.2xlarge、kafka.m5.4xlarge、kafka.m5.8xlarge、kafka.m5.12xlarge、kafka.m5.16xlarge、kafka.m5.24xlarge

  • kafka.m7g.large、kafka.m7g.xlarge、kafka.m7g.2xlarge、kafka.m7g.4xlarge、kafka.m7g.8xlarge、kafka.m7g.8xlarge、kafka.m7g.12xlarge、kafka.m7g.16xlarge

M7g 经纪商使用 G Amazon raviton 处理器(由 Amazon Web Services 构建的基于 ARM 的定制处理器)。与同类的 M5 实例相比,M7g 经纪商的价格表现更高。M7g 代理比同类 M5 实例消耗的电量更少。MSK 在运行以下 Kafka 版本之一的集群上支持 m7g 代理:

  • 2.8.2. 分层

  • 3.3.2

  • 3.4.0

  • 3.5.1

  • 3.6.0 带有分层存储

  • 3.7.x

  • 3.7.x.kraft

M7g 和 M5 代理的基准吞吐量性能比 T3 代理高,建议用于生产工作负载。M7g 和 M5 经纪商的每个代理也可以比 T3 经纪商拥有更多的分区。如果您正在运行较大的生产级工作负载或需要更多分区,请使用 M7g 或 M5 代理。要了解有关 M7g 和 M5 实例类型的更多信息,请参阅 Amazon EC2 通用实例。

T3 代理可以使用 CPU 积分来临时提高性能。如果您正在测试中小型流式处理工作负载,或者您的低吞吐量流式处理工作负载会临时出现吞吐量高峰,则可以使用 T3 代理进行低成本开发。我们建议您 proof-of-concept 进行测试,以确定 T3 代理是否足以应对生产或关键工作负载。要了解有关 T3 实例类型的更多信息,请参阅 Amazon EC2T3 Instances

有关如何选择代理类型的更多信息,请参阅 最佳实践

使用创建集群 Amazon CLI

  1. 复制以下 JSON 并将其保存到文件中。将文件命名为 brokernodegroupinfo.json。将 JSON 中的子网 ID 替换为与子网对应的值。这些子网必须位于不同的可用区中。将 "Security-Group-ID" 替换为客户端 VPC 的一个或多个安全组的 ID。与这些安全组关联的客户端可以访问集群。如果您指定与您共享的安全组,则必须确保您拥有对它们的权限。具体来说,您需要 ec2:DescribeSecurityGroups 权限。有关示例,请参阅 Amazon EC2:允许以编程方式和在控制台中管理与特定 VPC 关联的 EC2 安全组。最后,将更新后的 JSON 文件保存在已 Amazon CLI 安装的计算机上。

    { "InstanceType": "kafka.m5.large", "ClientSubnets": [ "Subnet-1-ID", "Subnet-2-ID" ], "SecurityGroups": [ "Security-Group-ID" ] }
    重要

    如果您使用的是美国西部(北加利福尼亚)区域,请确切指定两个子网。对于提供 Amazon MSK 的其它区域,您可以指定两个或三个子网。指定的子网必须位于不同的可用区中。在创建集群时,Amazon MSK 在您指定的子网之间平均分配代理节点。

  2. 在保存brokernodegroupinfo.json文件的目录中运行以下 Amazon CLI 命令,将 “Your-Cluster-Name” 替换为您选择的名称。对于 "Monitoring-Level",您可以指定以下三个值之一:DEFAULTPER_BROKERPER_TOPIC_PER_BROKER。有关这三个不同监控级别的信息,请参阅监控 Amazon MSK 集群enhanced-monitoring 参数是可选的。如果未在 create-cluster 命令中指定该参数,监控级别即为 DEFAULT

    aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level"

    该命令的输出如以下 JSON 所示:

    { "ClusterArn": "...", "ClusterName": "AWSKafkaTutorialCluster", "State": "CREATING" }
    注意

    create-cluster 命令可能会返回错误,指示一个或多个子网所属的可用区不受支持。发生此种情况时,该错误会指示不受支持的可用区。请创建不使用不受支持的可用区的子网,然后重试 create-cluster 命令。

  3. 保存 ClusterArn 键的值,因为您需要该键才能对集群执行其他操作。

  4. 运行以下命令来检查集群的 STATE。在 Amazon MSK 预置集群时,STATE 值从 CREATING 变为 ACTIVE。当状态为 ACTIVE 时,您可连接到集群。有关集群状态的更多信息,请参阅 集群状态

    aws kafka describe-cluster --cluster-arn <your-cluster-ARN>

使用自定义 Amazon MSK 配置创建集群 Amazon CLI

有关自定义 Amazon MSK 配置以及如何创建这些配置的信息,请参阅 Amazon MSK 配置

  1. 将以下 JSON 保存到文件中,并将 configuration-arn 替换为创建集群要使用的配置的 ARN。

    { "Arn": configuration-arn, "Revision": 1 }
  2. 运行 create-cluster 命令并使用 configuration-info 选项指向您在上一步中保存的 JSON 文件。示例如下:

    aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json

    以下是运行此命令后的成功响应示例。

    { "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2", "ClusterName": "CustomConfigExampleCluster", "State": "CREATING" }

使用 API 创建集群

要使用 API 创建集群,请参阅CreateCluster