使用 Kinesis Data Streams 写入亚马逊 Data Firehose - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Kinesis Data Streams 写入亚马逊 Data Firehose

您可以将 Amazon Kinesis Data Streams 配置为向 Firehose 直播发送信息。

重要

如果使用 Kinesis Producer Library(KPL)将数据写入 Kinesis 数据流,则可以使用聚合来合并写入该 Kinesis 数据流的记录。如果您随后使用该数据流作为 Firehose 数据流的来源,Amazon Data Firehose 会在将记录传送到目标之前对其进行解聚处理。如果您将传输流配置为转换数据,Amazon Data Firehose 会在将记录传送到之前对其进行解聚处理。 Amazon Lambda有关更多信息,请参阅使用 Kinesis 创建者库开发 Amazon Kinesis Data Streams 创建者聚合

  1. 登录 Amazon Web Services Management Console 并打开亚马逊 Data Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。

  2. 选择创建 Firehose 直播。在名称和来源页面上,为以下字段提供值:

    Firehose 直播名称

    你的 Firehose 直播的名称。

    选择 Kinesis 流来配置使用 Kinesis 数据流作为数据源的 Firehose 流。然后,您可以使用 Amazon Data Firehose 轻松地从现有数据流中读取数据并将其加载到目的地。

    要使用 Kinesis 数据流作为源,请在 Kinesis 流列表中选择一个现有流,或选择新建以创建新的 Kinesis 数据流。创建新流后,选择刷新,以更新 Kinesis 流列表。如果您有大量的流,可使用 Filter by name 筛选列表。

    注意

    当您将 Kinesis 数据流配置为 Firehose 流的源时,亚马逊数据 Firehose 和操作将被禁用。PutRecord PutRecordBatch在这种情况下,要将数据添加到你的 Firehose 流中,请使用 Kinesis Data Streams 和操作。PutRecord PutRecords

    Amazon Data Firehose 开始从你的 Kinesis LATEST 直播的位置读取数据。有关 Kinesis Data Streams 位置的更多信息,GetShardIterator请参阅。

    Amazon Data Firehose 每秒为每个分片调用 Kinesis Data Streams GetRecords操作一次。但是,启用完整备份后,Firehose 会每秒对每个分片调用 Kinesis Data Streams GetRecords 操作两次,一次用于主传输目标,另一次用于完整备份。

    可以从同一 Kinesis 直播中读取多个 Firehose 直播。其他 Kinesis 应用程序(使用者)也可以从同一个流中读取。来自任何 Firehose 直播或其他消费者应用程序的每次调用都计入分片的总体限制限制。为了避免受限,请小心计划您的应用程序。有关 Kinesis Data Streams 限制的更多信息,请参阅 Amazon Kinesis Streams 限制

  3. 选择 Next 前进至记录转换和格式转换页面。