Amazon Kinesis Data Firehose 配额 - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Firehose 配额

Amazon Kinesis Data Firehose 有以下配额。

  • 何时动态分区在启用交付流上,最多可以为该传输流创建 500 个活动分区。您可以使用Amazon Kinesis Data Firehose 限制表请求提高此配额的值。

  • 何时动态分区在启用传输流上,每个活动分区支持每秒 40 MB 的最大吞吐量。这是一个硬性限制。

  • 默认情况下,每个账户在每个区域最多可以拥有 50 个 Kinesis Data Firehose 传输流。如果超出此数字,调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额,可以使用 Service Quotas(如果该服务在您的区域可用)。有关使用 Service Quotas 的信息,请参阅请求增加配额. 如果您所在的区域未提供 Service Quotas,可以使用Amazon Kinesis Data Firehose 限制表要求增加。

  • 何时直接 PUT配置为数据源时,每个 Kinesis Data Firehose 传输流都提供以下配额组合:PutRecordPutRecord批处理请求:

    • 对于美国东部(弗吉尼亚北部)、美国西部(俄勒冈)和欧洲(爱尔兰):500,000 条记录/秒、2000 个请求/秒和 5 MB/秒。

    • 对于美国东部(俄亥俄)、美国西部(加利福尼亚北部),Amazon GovCloud(美国东部)、Amazon GovCloud(美国西部)、亚太(香港)、亚太(孟买)、亚太(首尔)、亚太(新加坡)、亚太(悉尼)、亚太(东京)、加拿大(中部)、欧洲(伦敦)、欧洲(巴黎)、欧洲(斯德哥尔摩)、中东(巴林)、南美(圣保罗)、非洲(开普敦)、欧洲(巴黎)、欧洲(斯德哥尔摩)、中东(巴林)、南美(圣保罗)、非洲(开普敦)、欧洲(斯德哥尔摩)、中东(巴林)、和欧洲(米兰):10 万条记录/秒、1000 个请求/秒和 1MB/ 秒。

    要申请提升配额,请使用Amazon Kinesis Data Firehose 限制表. 这三个配额成比例扩展。例如,如果将美国东部(弗吉尼亚北部)、美国西部(俄勒冈)或欧洲(爱尔兰)的吞吐量配额增加到 10 MB/秒,其他两个配额将增加到 4000 个请求/秒和 1000 万条记录/秒。

    重要

    如果增加的配额远高于运行的流量,这会导致传输到目标的批次很少。从而造成效率低下,并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额,并在流量增加时进一步提高配额。

    重要

    请注意,较小的数据记录可能会导致更高的成本。Kinesis Data Firehose 摄取定价基于您发送到服务的数据记录数,乘以每条记录的大小向上舍入到最接近的 5KB(5120 字节)。因此,对于相同量的传入数据(字节),如果传入记录数量更多,则产生的成本会更高。例如,如果传入数据总量为 5MiB,则与使用 1,000 条记录发送相同量的数据相比,发送 5MiB 以上 5,000 条记录的数据的成本要高。有关更多信息,请参阅中的 Kinesis Data FirehoseAmazon计算器.

    注意

    当 Kinesis Data Streams 配置为数据源时,此配额不适用,Kinesis Data Firehose 可无限扩展和缩小。

  • 当传输目标不可用和源时,每个 Kinesis Data Firehose 传输流可存储数据记录长达 24 小时。DirectPut. 如果源是 Kinesis Data Streams (KDS) 并且目标不可用,则数据将根据您的 KDS 配置保留。

  • 发送到 Kinesis Data Firehose 的最大记录大小为 1000 KiB (进行 base64 编码前)。

  • 这些区域有:PutRecord批处理操作时,每个调用最多可接受 500 条记录或 4 MiB 的数据,以较小者为准。无法更改此配额。

  • 以下操作每秒最多可提供五个调用(这是硬限制):CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption.

  • 对于 Amazon S3 传输,缓冲区大小提示范围介于 1 MiB 到 128 MiB 之间。对于 AmazonOpenSearch服务 (OpenSearch服务)传输,范围介于 1 MiB 到 100 MiB 间。对于 Amazon Lambda 处理,您可以使用 BufferSizeInMBs 处理器参数设置一个介于 1 MB 与 3 MB 之间的缓冲区提示范围。大小阈值适用于压缩前的缓冲区。这些选项被视为提示。当 Kinesis Data Firehose 在必要时可能会选择使用不同的值。

  • 缓冲间隔提示范围:60 秒 - 900 秒。

  • 对于从 Kinesis Data Firehose 传输到 Amazon Redshift,只支持可公开访问的 Amazon Redshift 集群。

  • Amazon Redshift 和重试持续时间为 0 秒到 7200 秒。OpenSearch服务提供。

  • Amazon Kinesis Data Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6 以及所有 6.* 和 7.* 版本和 Amazon。OpenSearch服务 1.x 及更高版本。

  • 当目标为 Amazon S3、Amazon Redshift 时,或者OpenSearch服务,Kinesis Data Firehose 允许每个分片最多 5 个未完成的 Lambda 调用。对于 Splunk,配额为每个分片 10 个未完成的 Lambda 调用。

  • 您可以使用 CUSTOMER_MANAGED_CMK 类型的 CMK 加密多达 500 个传输流。