什么是 Amazon Kinesis Data Firehose？ - Amazon Kinesis Data Firehose
重要概念数据流
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

什么是 Amazon Kinesis Data Firehose？

Amazon Kinesis Data Firehose 是一项完全托管的服务，用于将实时流数据传输到 Amazon Simple Storage Service (Amazon OpenSearch S3)、Amazon Redshift、Amazon S OpenSearch erverless、Splunk 等目的地传输流数据受支持的第三方服务提供商，包括 Datadog、Dynatrace、 LogicMonitor MongoDB、New Relic 和 Sumo Logic。Kinesis Data Firehose 是 Kinesis 流媒体数据平台的一部分，还有 Kinesis Data Streams、Kinesis Video Stream s 和 Amazon Kinesis Data Analytics。使用 Kinesis Data Firehose，您无需编写应用程序或管理资源。您可以将数据生成器配置为将数据发送到 Kinesis Data Firehose，它会自动将数据传送到您指定的目的地。您也可以将 Kinesis Data Firehose 配置为在传输数据之前对其进行转换。

有关Amazon大数据解决方案的更多信息，请参阅上的大数据Amazon。有关Amazon流数据解决方案的更多信息，请参阅什么是流数据？

注意

请注意最新的 Amazon MSKAmazon 流数据解决方案，该解决方案提供了数据流经生产者、流媒体存储、消费者和目的地的Amazon CloudFormation 模板。

重要概念

当你开始使用 Kinesis Data Firehose 时，你将受益于理解以下概念：

Kinesis Data Firehose 传输流

Kinesis Data Firehose 的基础实体。您可以创建 Kinesis Data Firehose 传输流然后将数据发送到 Kinesis Data Firehose 传输流。有关更多信息，请参阅 创建 Amazon Kinesis Data Firehose 传输流 和 将数据发送到 Amazon Kinesis Data Firehose 传输流。

record

您的数据创建者发送到 Kinesis Data Firehose 传输流的感兴趣的数据。记录最大可达 1000 KB。

数据创建器

制作人将记录发送到 Kinesis Data Firehose 传输流。例如，发送日志数据到传输流的 Web 服务器是数据创建器。您还可以将 Kinesis Data Firehose 传输流配置为自动从现有 Kinesis 数据流读取数据，然后将其加载到目的地。有关更多信息，请参阅 将数据发送到 Amazon Kinesis Data Firehose 传输流。

缓冲区大小和缓冲间隔

Kinesis Data Firehose 会将传入的流数据缓冲到一定大小或一段时间，然后再将其传送到目的地。 Buffer Size以 MB 为单位Buffer Interval，以秒为单位。

数据流

对于 Amazon S3 目的地，流数据将传输到您的 S3 存储桶。如果启用了数据转换，则可以选择将源数据备份到另一个 Amazon S3 存储桶。

Amazon Kinesis Data Firehose Amazon S3

对于 Amazon Redshift 目的地，流数据会先传输到您的 S3 存储桶。然后，Kinesis Data Firehose 发出 Amazon RedshiftCOPY 命令，将数据从你的 S3 存储桶加载到你的 Amazon Redshift 集群。如果启用了数据转换，则可以选择将源数据备份到另一个 Amazon S3 存储桶。

Amazon Kinesis Data Firehose Amazon Redshift

对于 OpenSearch 服务目标，流数据将传送到您的 OpenSearch服务集群，并且可以选择将其同时备份到您的 S3 存储桶。

Amazon Kinesis Data Firehose OpenSearch 服务数据流

对于 Splunk 目标，流数据将传输到 Splunk，并且可以选择将流数据同时备份到 S3 存储桶中。

Amazon Kinesis Data Firehose Splunk 的数据流