将 Amazon MSK 与 LinkedIn 的适用于 Apache Kafka 的 Cruise Control 结合使用 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将 Amazon MSK 与 LinkedIn 的适用于 Apache Kafka 的 Cruise Control 结合使用

您可以使用 LinkedIn 的 Cruise Control 来重新平衡 Amazon MSK 集群，检测和修复异常，并监控集群的状态和运行状况。

下载并构建 Cruise Control

  1. 在与 Amazon MSK 集群相同的 Amazon VPC 中创建 Amazon EC2 实例。

  2. 在上一步中创建的 Amazon EC2 实例上安装 Prometheus。记下私有 IP 和端口。默认端口号为 9090。有关如何配置 Prometheus 以聚合集群指标的信息，请参阅 Prometheus 的开源监控系统。

  3. 在 Amazon EC2 实例上下载 Cruise Control。（或者，如果您愿意，也可以针对 Cruise Control 使用单独的 Amazon EC2 实例。） 对于具有 Apache Kafka 版本 2.4.* 的集群，请使用最新的 2.4.* Cruise Control 版本。如果集群的 Apache Kafka 版本早于 2.4.*，请使用最新的 2.0.* Cruise Control 版本。

  4. 解压缩 Cruise Control 文件，然后转到解压缩后的文件夹。

  5. 运行以下命令以安装 Git：

    sudo yum -y install git

  6. 运行以下命令以初始化本地存储库。将 Your-Cruise-Control-Folder 替换为当前文件夹（解压缩 Cruise Control 下载文件时获得的文件夹）的名称。

    git init && git add . && git commit -m "Init local repo." && git tag -a Your-Cruise-Control-Folder -m "Init local version."

  7. 运行以下命令以安装并构建源代码。

    ./gradlew jar copyDependantLibs
配置和运行 Cruise Control

  1. 对 config/cruisecontrol.properties 文件进行以下更新。将示例引导服务器和 Apache ZooKeeeper 连接字符串替换为集群的值。要获取集群的这些字符串，您可以在控制台中查看集群详细信息。或者，可以使用 GetBootstrapBrokers 和 DescribeCluster API 操作或其等效 CLI 操作。

    # If using TLS encryption, use 9094; use 9092 if using plaintext
bootstrap.servers=b-1.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094,b-2.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094,b-3.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:9094
zookeeper.connect=z-1.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:2181,z-2.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:2181,z-3.test-cluster.2skv42.c1.kafka.us-east-1.amazonaws.com:2181
    
# SSL properties, needed if cluster is using TLS encryption
security.protocol=SSL
ssl.truststore.location=/home/ec2-user/kafka.client.truststore.jks
    
# Use the Prometheus Metric Sampler
metric.sampler.class=com.linkedin.kafka.cruisecontrol.monitor.sampling.prometheus.PrometheusMetricSampler
    
# Prometheus Metric Sampler specific configuration
prometheus.server.endpoint=1.2.3.4:9090 # Replace with your Prometheus IP and port
    
# Change the capacity config file and specify its path; details below
capacity.config.file=config/capacityCores.json

  2. 编辑 config/capacityCores.json 文件以指定正确的磁盘大小、CPU 核心和网络输入/输出限制。您可以使用 DescribeCluster API 操作（或其等效 CLI 操作）来获取磁盘大小。有关 CPU 核心和网络输入/输出限制，请参阅 Amazon EC2 实例类型。

    {
  "brokerCapacities": [
    {
      "brokerId": "-1",
      "capacity": {
        "DISK": "10000",
        "CPU": {
          "num.cores": "2"
        },
        "NW_IN": "5000000",
        "NW_OUT": "5000000"
      },
      "doc": "This is the default capacity. Capacity unit used for disk is in MB, cpu is in number of cores, network throughput is in KB."
    }
  ]
}

  3. 您可以选择安装 Cruise Control UI。如需下载，请转到 Setting Up Cruise Control Frontend。

  4. 运行以下命令以启动 Cruise Control。考虑使用类似 screen 或 tmux 的工具来保持长时间运行的会话处于开放状态。

    <path-to-your-kafka-installation>/bin/kafka-cruise-control-start.sh config/cruisecontrol.properties 9091

  5. 使用 Cruise Control API 或 UI 来确保 Cruise Control 拥有集群加载数据并提出重新平衡建议。获得有效的指标窗口可能需要几分钟时间。