什么是 Amazon Data Firehose? - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Data Firehose?

Amazon Data Firehose 是一项完全托管的服务,用于将实时流数据传输到目标位置,例如Amazon Service(Amazon S3)、Amazon Redshift、Amazon Serverless、Amazon Service、Amazon Service、Amazon Service、A OpenSearch mazon Service、 OpenSearch Amazon Service、Amazon Service、Amazon Service、Amazon Service、Amazon Service、Amazon Service、Amazon Service、Amazon Serv、New Relic、Coralogix 和 Elastic。 LogicMonitor在使用 Amazon Data Firehose 时,您无需编写应用程序或管理资源。您可以配置数据生产者,将数据发送到 Amazon Data Firehose,后者会自动将数据传输到您指定的目的地。您还可以配置 Amazon Data Firehose 在传输之前转换数据。

有关 Amazon 大数据解决方案的更多信息,请参阅上的大数据 Amazon。有关 Amazon 流数据解决方案的更多信息,请参阅什么是流数据?

了解关键概念

开始使用 Amazon Data Firehose 时,您可以从理解以下概念中受益。

Firehose 流

Amazon Data Firehose 的基础实体。您可以通过创建 Firehose 流,然后向其发送数据来使用 Amazon Data Firehose。有关更多信息,请参阅教程:从控制台创建 Firehose 流向 Firehose 流发送数据

记录

数据创建器发送到 Firehose 流的相关数据。记录最大可达 1000 KB。

数据创建器

创建器将记录发送到 Firehose 流。例如,发送日志数据到 Firehose 流的 Web 服务器是数据创建器。您还可以配置 Firehose 流,以自动从现有 Kinesis 数据流读取数据,并将其加载到目的地。有关更多信息,请参阅 向 Firehose 流发送数据

缓冲区大小和缓冲间隔

Amazon Data Firehose 将传入的流数据缓冲到一定大小,或缓冲一定时间后再将其传输到目标位置。 Buffer Size已进入 MBs 并以秒Buffer Interval为单位。

了解 Amazon Data Firehose 中的数据流

对于 Amazon S3 目标,流数据将传输到您的 S3 存储桶。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。

显示适用于 Amazon S3 的 Amazon Data Firehose 数据流的关系图。

对于 Amazon Redshift 目标,流数据将传输到您的 S3 存储桶。然后,Amazon Data Firehose 会发出 Amazon Redshift COPY 命令,将数据从 S3 存储桶加载到 Amazon Redshift 集群。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。

显示适用于 Amazon Redshift 的 Amazon Data Firehose 数据流的关系图。

对于 OpenSearch 服务目标,流数据将传输到您的S OpenSearch ervice 集群,并且可以选择将流数据同时备份到 S3 存储桶。

显示适用于 Service 的 Amazon Data Firehose 数据流的 OpenSearch 关系图。

对于 Splunk 目标,流数据将传输到 Splunk,并且可以选择将流数据同时备份到 S3 存储桶中。

显示适用于 Splunk 的 Amazon Data Firehose 数据流的关系图。