什么是 Amazon Kinesis Data Firehose? - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Kinesis Data Firehose?

Amazon Kinesis Data Firehose 是一项完全托管的服务,用于实时提供数据流到 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、Splunk,以及受支持的第三方服务提供商(包括 Datadog、Dynatrace、LogicMongoDB、New Relic 和 Sumo Logic)拥有的目标。Kinesis Data Firehose 是 Kinesis Data Firehose 与 Kinesis 流数据平台的一部分。Kinesis Data StreamsKinesis Video Streams, 和Amazon Kinesis Data Analytics. 使用 Kinesis Data Firehose,您无需编写应用程序或管理资源。您可以配置数据创建器以将数据发送到 Kinesis Data Firehose,后者自动将数据传输到您指定的目标位置。您还可以将 Kinesis Data Firehose 配置为在传输之前转换数据。

有关 的更多信息Amazon大数据解决方案,请参阅开启大数据Amazon. 有关 的更多信息Amazon流数据解决方案,请参阅什么是流数据?

注意

记下最新AmazonAmazon MSK 流数据解决方案这提供了AmazonCloudFormation 模板,其中数据流通过生产商、流存储、消费者和目的地。

重要概念

要开始使用 Kinesis Data Firehose,最好了解以下概念:

Kinesis Data Firehose 传输流

Kinesis Data Firehose 的基本实体。要使用 Kinesis Data Firehose,您可以创建 Kinesis Data Firehose 传输流,然后将数据发送到 Kinesis Data Firehose。有关更多信息,请参阅创建 Amazon Kinesis Data Firehose 传输流将数据发送到 Amazon Kinesis Data Firehose 传输流

record

您的数据创建器发送到 Kinesis Data Firehose 传输流的目标数据。记录最大可达 1000 KB。

数据创建器

制片人将记录发送到 Kinesis Data Firehose 传输流。例如,发送日志数据到传输流的 Web 服务器是数据创建器。您还可以将 Kinesis Data Firehose 传输流配置为自动从现有 Kinesis Data Firehose 传输流中读取数据,并将数据加载到目标中。有关更多信息,请参阅 将数据发送到 Amazon Kinesis Data Firehose 传输流

缓冲区大小和缓冲间隔

在传输到目标之前,Kinesis Data Firehose 会将传入流数据缓冲到特定大小或特定时间的传入流数据。Buffer Size是以 MB 为单位且Buffer Interval以秒为单位。

数据流

对于 Amazon S3 目标,流数据将传输到 S3 存储桶中。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶中。


                Amazon Kinesis Data Firehose Amazon S3 的数据流

对于 Amazon Redshift 目标,流数据首先传输到 S3 存储桶中。然后 Kinesis Data Firehose 发布 Amazon RedshiftCOPY命令将数据从 S3 存储桶加载到 Amazon Redshift 集群中。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶中。


                Amazon Kinesis Data Firehose 适用于 Amazon Redshift 的数据流

对于 OpenSearch Service 目标,流数据将传输到 OpenSearch Service 集群,并且可以选择将流数据同时备份到 S3 存储桶中。


                适用于 OpenSearch 服务的 Amazon Kinesis Data Firehose 数据流

对于 Splunk 目标,流数据将传输到 Splunk,并且可以选择将流数据同时备份到 S3 存储桶中。


                Splunk 的 Amazon Kinesis Data Firehose 数据流