Amazon Kinesis Data Firehose 配额 - Amazon Kinesis Data Firehose
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Firehose 配额

Amazon Kinesis Data Firehose 具有以下配额。

  • 默认情况下,每个账户在每个区域最多可以拥有 50 个 Kinesis Data Firehose 传输流 如果超过此数字,调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提高此配额,您可以使用服务配额Service Quotas(如果它在您的区域中可用)。有关使用 Service Quotas 的信息,请参阅请求增加配额. 如果您所在的区域未提供 Service Quotas,可以使用 Amazon Kinesis Data Firehose 限制表单 来申请提升配额。

  • Direct PUT 配置为数据源时,每个 Kinesis Data Firehose 传输流 都会为 PutRecordPutRecordBatch 请求提供以下组合配额:

    • 对于 美国东部(弗吉尼亚北部)、美国西部(俄勒冈) 和 欧洲(爱尔兰):每秒 500,000 条记录,2,000 个请求/秒和 5 个 MiB/秒。

    • 对于 美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、AWS GovCloud(美国东部)、AWS GovCloud (US-West)、亚太地区(香港)、亚太地区(孟买)、亚太区域(首尔)、亚太区域(新加坡)、亚太区域(悉尼)、亚太区域(东京)、加拿大 (中部)、欧洲(法兰克福)、欧洲(伦敦)、欧洲(巴黎)、欧洲(斯德哥尔摩)、中东(巴林)、南美洲(圣保罗)、 和 :100000 条记录/秒;1000 个请求/秒;1 个 非洲(开普敦)/秒。欧洲(米兰)MiB

    要申请提升配额,请使用 Amazon Kinesis Data Firehose 限制表单. 这三个配额成比例扩展。例如,如果将 美国东部(弗吉尼亚北部)、美国西部(俄勒冈) 或 欧洲(爱尔兰) 中的吞吐量配额增加到 10 个 MiB/秒,其他两个配额将增加到 4000 个请求/秒和 1,000,000 条记录/秒。

    重要

    如果增加的配额远高于运行的流量,这会导致传输到目标的批次很少。从而造成效率低下,并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额,并在流量增加时进一步提高配额。

    重要

    请注意,较小的数据记录可能会导致更高的成本。 Kinesis Data Firehose 提取定价基于您发送到服务的数据记录的数量,将每条记录的大小的倍数四舍五入到最近的 5KB(5120 个字节)。因此,对于同一传入数据量(字节),如果传入记录数越多,产生的成本就越高。例如,如果传入的总数据量是 5MiB,则与使用 1000 条记录发送相同数量的数据相比,发送超过 5,000 条记录的 5MiB 数据的成本将会更高。有关更多信息,请参阅 AWS 计算器 中的 Kinesis Data Firehose。

    注意

    当 Kinesis Data Streams 配置为数据源时,此配额不适用,Kinesis Data Firehose 可无限扩展和缩减。

  • 当传输目标不可用时,每个 Kinesis Data Firehose 传输流 可存储数据记录长达 24 小时。

  • 发送到 Kinesis Data Firehose 的最大记录大小为 1000 KiB(进行 base64 编码前)。

  • 操作每次调用最多可需要 500 条记录或 4 个 PutRecordBatch,以较小者为准。MiB无法更改此配额。

  • 以下操作每秒可提供最多 5 个调用(这是硬限制):CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestination、_00021_TagDeliveryStream__ent____00025_27_。UntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • 对于 MiB 传输,缓冲区大小提示范围介于 1 MiB 和 128 Amazon S3 之间。对于 Amazon Elasticsearch Service (Amazon ES) 交付,其范围从 1 MiB 到 100 MiB。 对于 AWS Lambda 处理,您可以使用 MiBMiB 处理器参数设置一个介于 1 BufferSizeInMBs 和 3 之间的缓冲提示范围。大小阈值适用于压缩前的缓冲区。这些选项仅作为提示。Kinesis Data Firehose 可能会在必要时选择使用不同的值。

  • 缓冲间隔提示范围:60 秒 - 900 秒。

  • 对于从 Kinesis Data Firehose 到 Amazon Redshift 的传输,只支持可公开访问的 Amazon Redshift 集群。

  • 对于 Amazon Redshift 和 Amazon ES 传输,重试持续时间为 0 秒到 7200 秒。

  • Kinesis Data Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6,以及所有版本 6.* 和 7.*。

  • 当目标是 Amazon S3、Amazon Redshift 或 Amazon ES 时,Kinesis Data Firehose 允许每个分片最多 5 个未完成的 Lambda 调用。对于 Splunk,每个分片的配额为 10 个未完成的 Lambda 调用。

  • 您可以使用 CUSTOMER_MANAGED_CMK 类型的 CMK 加密多达 500 个传输流。