将 OpenSearch 摄取管道与 Amazon Managed Streaming for Apache Kafka

按照《适用于 A pache Kafka 的亚马逊托管流媒体 Kafka 开发者指南》中创建集群中的步骤创建亚马逊MSK预配置集群。对于 Broker 类型，请选择除t3类型之外的任何选项，因为 OpenSearch Ingestion 不支持这些类型。

集群处于 “活动” 状态后，请按照开启多VPC连接中的步骤进行操作。

按照将集群策略附加到集MSK群中的步骤来附加以下策略之一，具体取决于您的集群和管道是否相同 Amazon Web Services 账户。此策略允许 OpenSearch Ingestion 创建与您的 Amazon MSK 集群的 Amazon PrivateLink 连接并从 Kafka 主题中读取数据。请务必使用自己的版本resource进行更新ARN。

当集群与管道位于同一 Amazon Web Services 账户时，适用以下策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

如果您的 Amazon MSK 集群所在的管道与您的管道 Amazon Web Services 账户 不同，请改为附加以下策略。请注意，只有预配置的 Amazon 集群才能进行跨账户访问，Amazon MSK Serverless MSK 集群无法进行跨账户访问。的 ARN fo Amazon principal r 应与您ARN为管道配置提供的相同管道角色相同：YAML

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "kafka-cluster:*",
        "kafka:*"
      ],
      "Resource": [
        "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id",
        "arn:aws:kafka:us-east-1:{msk-account-id}:topic/cluster-name/cluster-id/*",
        "arn:aws:kafka:us-east-1:{msk-account-id}:group/cluster-name/*"
      ]
    }
  ]
}

按照创建主题中的步骤创建 Kafka 主题。确保BootstrapServerString这是私有端点（单VPC）引导程序URLs之一。的值--replication-factor应为2或3，具体取决于您的 Amazon MSK 集群拥有的区域数量。--partitions 的值至少应为 10。

按照生成和使用数据中的步骤生成和使用数据。再说一遍，请确保BootstrapServerString这是您的私有端点（单个VPC）引导程序URLs之一。

按照《适用MSK于 Apache Managed Streaming 的亚马逊管理流媒体 Kafka 开发者指南》中创建MSK无服务器集群中的步骤创建亚马逊无服务器集群。

集群处于 “活动” 状态后，按照将群集策略附加到MSK集群中的步骤来附加以下策略。请务必使用自己的版本resource进行更新ARN。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

此策略允许 OpenSearch Ingestion 创建与您的 Amazon MSK Serverless 集群的 Amazon PrivateLink 连接并从 Kafka 主题中读取数据。当您的集群和管道处于相同状态时，此政策适用 Amazon Web Services 账户，因为Amazon MSK Serverless不支持跨账户访问，因此必须如此。

按照创建主题中的步骤创建 Kafka 主题。确保BootstrapServerString这是您的简单身份验证和安全层 (SASL) IAM 引导程序URLs之一。的值--replication-factor应为2或3，具体取决于您的 Amazon MSK Serverless 集群所拥有的区域数量。--partitions 的值至少应为 10。

按照生成和使用数据中的步骤生成和使用数据。再说一遍，请确保BootstrapServerString这是您的简单身份验证和安全层 (SASL) IAM 引导程序URLs之一。