Amazon Kinesis Data Firehose
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用 Kinesis Data Streams 对 Kinesis Data Firehose 进行写入操作

您可以配置 Amazon Kinesis Data Streams 向 Kinesis Data Firehose 传输流发送信息。

重要

如果使用 Kinesis 创建器库 (KPL) 将数据写入到 Kinesis 数据流,您可以使用聚合整合您写入 Kinesis 数据流的记录。如果随后将该数据流用作 Kinesis Data Firehose 传输流的来源,Kinesis Data Firehose 将在记录传送到目标之前取消聚合。如果配置传输流来转换数据,Kinesis Data Firehose 将在记录传输到 AWS Lambda 之前取消聚合。有关更多信息,请参阅使用 Kinesis 创建者库开发 Amazon Kinesis Data Streams 创建者聚合

  1. 登录 AWS 管理控制台并通过以下网址打开 Kinesis Data Firehose 控制台:https://console.amazonaws.cn/firehose/

  2. 选择 Create Delivery Stream。在 Name and source (名称和来源) 页面上,为以下字段提供值:

    传输流名称

    您的 Kinesis Data Firehose 传输流 的名称。

    Source (来源)

    选择 Kinesis stream (Kinesis 流) 可配置使用 Kinesis 数据流作为数据源的 Kinesis Data Firehose 传输流。这样,您可以使用 Kinesis Data Firehose 从现有数据流轻松读取数据并将数据加载到目标。

    要使用 Kinesis 数据流作为数据源,请从 Kinesis stream (Kinesis 流) 列表中选择一个现有流或选择 Create new (新建) 创建新的 Kinesis 数据流。创建新流之后,请选择 Refresh (刷新) 以更新 Kinesis stream (Kinesis 流) 列表。如果您有大量的流,可使用 Filter by name 筛选列表。

    注意

    将 Kinesis 数据流配置为 Kinesis Data Firehose 传输流的数据源时,会禁用 Kinesis Data Firehose PutRecordPutRecordBatch 操作。在这种情况下,若要向 Kinesis Data Firehose 传输流添加数据,请使用 Kinesis Data Streams PutRecordPutRecords 操作。

    Kinesis Data Firehose 将开始从您的 Kinesis 流的 LATEST 位置读取数据。有关 Kinesis Data Streams 位置的更多信息,请参阅 GetShardIterator。Kinesis Data Firehose 每秒为每个分区调用一次 Kinesis Data Streams GetRecords 操作。

    多个 Kinesis Data Firehose 传输流可从同一 Kinesis 流读取数据。其他 Kinesis 应用程序(用户)也可以从同一流读取数据。来自任何 Kinesis Data Firehose 传输流或其他使用器应用程序的所有调用都会计入该分区的总体限制。为了避免受限,请小心计划您的应用程序。有关 Kinesis Data Streams 限制的更多信息,请参阅 Amazon Kinesis Streams 限制

  3. 选择 Next 前进至处理记录页面。