亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用亚马逊 MSK 写入亚马逊 Data Firehose
您可以将 Amazon MSK 配置为向 Firehose 直播发送信息。
-
选择创建 Firehose 直播。
在本页面的选择源和目标部分,为以下字段提供值:
- 源
-
选择 Amazon MSK 来配置使用亚马逊 MSK 作为数据源的 Firehose 流。您可以在 MSK 预置集群和 MSK 无服务器集群之间进行选择。然后,您可以使用 Amazon Data Firehose 轻松地从特定的 Amazon MSK 集群和主题中读取数据,然后将其加载到指定的 S3 目标中。
- 目标位置
-
选择亚马逊 S3 作为 Firehose 直播的目的地。
在本页面的源设置部分,为以下字段提供值:
- Amazon MSK 集群连接
-
根据您的集群配置,选择私有引导代理(推荐)或公有引导代理选项。引导代理是 Apache Kafka 客户端用来连接集群的起点。公共引导代理旨在从外部公开访问 Amazon,而私有引导代理则用于从内部访问。 Amazon有关 Amazon MSK 的更多信息,请参阅 Amazon Managed Streaming for Apache Kafka。
要通过私有引导代理连接到预置或无服务器 Amazon MSK 集群,该集群必须满足以下所有要求。
-
集群必须处于活动状态。
-
集群必须将 IAM 作为其访问控制方法之一。
-
必须为 IAM 访问控制方法启用多 VPC 私有连接。
-
您必须向该集群添加基于资源的策略,该策略授予亚马逊数据 Firehose 服务主体调用亚马 CreateVpcConnection 逊 MSK API 的权限。
要通过公有引导代理连接到预置 Amazon MSK 集群,该集群必须满足以下所有要求。
-
集群必须处于活动状态。
-
集群必须将 IAM 作为其访问控制方法之一。
-
集群必须可公开访问。
-
- Amazon MSK 集群
-
对于相同的账户场景,请指定 Amazon MSK 集群的 ARN,您的 Firehose 流将从中读取数据。
有关跨账户场景,请参阅 来自亚马逊 MSK 的跨账户配送。
- 主题
-
指定你希望 Firehose 直播从中提取数据的 Apache Kafka 主题。Firehose 直播创建后,您将无法更新此主题。
在页面的 Firehose 直播名称部分,为以下字段提供值:
- Firehose 直播名称
-
为你的 Firehose 直播指定名称。
-
接下来,您可以完成配置记录转换和记录格式转换的可选步骤。有关更多信息,请参阅 配置记录转换和格式转换。