Amazon Kinesis Data Firehose h - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Firehose h

Amazon Kinesis Data Firehose 有以下配额。

  • 在传输流上启用动态分区时,可以为该传输流创建 500 个活动分区的默认配额。活动分区计数是传送缓冲区内活动分区的总数。例如,如果动态分区查询每秒构造 3 个分区,并且您的缓冲区提示配置每 60 秒触发一次,那么平均而言,您将有 180 个活动分区。一旦在分区中传送数据,该分区就不再处于活动状态。您可以使用 Amazon Kinesis Data Firehose 限制表单请求将此配额增加到每个给定传输流最多 5000 个活跃分区。如果您需要更多分区,则可以创建更多传输流并将活动分区分布在它们之间。

  • 在传输流上启用动态分区时,每个活动分区支持的最大吞吐量为每秒 1 GB。

  • 默认情况下,每个账户在每个区域最多可以有 50 个 Kinesis Data Firehose 传输流。如果超出此数字,调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额,可以使用 Service Quotas(如果该服务在您的区域可用)。有关使用Service Quot as 的信息,请参阅申请增加配额。如果您所在的地区没有Service Quotas,您可以使用 Amazon Kinesis Data Firehose 限额表单申请提高配额。

  • 将 Direct PUT 配置为数据源时,每个 Kinesis Data Firehose 传输流为PutRecordPutRecordBatch请求提供以下组合配额:

    • 对于美国东部(弗吉尼亚北部)、美国西部(弗吉尼亚北部)、欧洲(爱尔兰)。

    • 适用于美国东部(弗吉尼亚北部)、美国西部(欧洲)、欧洲(西部)、亚太地区Amazon GovCloud (香港)、亚太地区Amazon GovCloud (欧洲)、欧洲(伦敦)、欧洲(欧洲)、欧洲(欧洲)、欧洲(欧洲)、欧洲(伦敦)、欧洲(欧洲)、欧洲(伦敦)、欧洲(欧洲)、欧洲(欧洲)、欧洲(伦敦)、欧洲(欧洲)、欧洲(欧洲)、欧洲(伦敦)、欧洲(欧洲)、欧洲(伦敦)、欧(巴黎)、欧洲(圣保罗)、欧洲(圣保罗)、欧洲(圣保罗)、非洲(圣保罗)、欧洲(米兰)。

    要申请增加配额,请使用 Amazon Kinesis Data Firehose 限额表单。这三个配额成比例扩展。例如,如果您将美国东部(弗吉尼亚北部)、美国西部(弗吉尼亚北部)和欧洲(爱尔兰)的吞吐量配额增加到 10 MiB/秒。

    重要

    如果增加的配额远高于运行的流量,这会导致传输到目标的批次很少。从而造成效率低下,并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额,并在流量增加时进一步提高配额。

    重要

    请注意,较小的数据记录可能会导致更高的成本。Kinesis Data Firehose 摄取定价基于您发送到服务的数据记录数量乘以每条记录的大小,四舍五入到最接近的 5KB(5120 字节)。因此,对于相同数量的传入数据(字节),如果传入记录的数量更多,则产生的成本会更高。例如,如果传入数据总量为 5MiB,则发送超过 5,000 条记录的 5MiB 数据的成本要高于使用 1,000 条记录发送相同数量的数据的成本。有关更多信息,请参阅 “Amazon计算器” 中的 Kinesis Data Firehose。

    注意

    当 Kinesis Data Streams 配置为数据源时,此配额不适用,Kinesis Data Firehose 无限制地向上和向下扩展。

  • 每个 Kinesis Data Firehose 传输流最多可存储 24 小时的数据记录,以防交付目的地不可用且源不可用 DirectPut。如果源是 Kinesis Data Streams (KDS) 且目标不可用,则将根据您的 KDS 配置保留数据。

  • 在 base64 编码之前,发送到 Kinesis Data Firehose 的记录的最大大小为 1,000 KiB。

  • PutRecordBatch 操作每次调用可处理 500 条记录或 4 MB,以较小者为准。无法更改此配额。

  • 以下操作每秒最多可以提供五次调用(这是硬性限制):CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • Amazon S3 交付的缓冲区大小提示范围从 1 MbB 到 128 MbB 不等。对于亚马逊 OpenSearch 服务(OpenSearch 服务)配送,其范围从 1 MB 到 100 MB 不等。对于Amazon Lambda处理,您可以使用BufferSizeInMBs处理器参数设置介于 0.2 MB 和最多 3 MB 之间的缓冲提示。大小阈值适用于压缩前的缓冲区。这些选项被视为提示。Kinesis Data Firehose 在处于最佳状态时可能会选择使用不同的值。

  • 缓冲间隔提示范围:60 秒 - 900 秒。

  • 对于从 Kinesis Data Firehose 传输到 Amazon Redshift,仅支持 Amazon Redshift 集群。

  • Amazon Redshift 和 OpenSearch 服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。

  • Kinesis Data Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6 以及所有 6.* 和 7.* 版本以及亚马逊 OpenSearch 服务 1.x 及更高版本。

  • 当目标是 Amazon S3、Amazon Redshift 或 Serv OpenSearch ice 时,Kinesis Data Firehose 最多允许每个分片进行 5 次未完成的 Lambda 调用。对于 Splunk,配额为每个分片 10 个未完成的 Lambda 调用。

  • 您可以使用 CUSTOMER_MANAGED_CMK 类型的 CMK 加密多达 500 个传输流。