亚马逊 Data Firehose 配额 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 Data Firehose 配额

Amazon Data Firehose 的配额如下。

  • 以亚马逊 MSK 作为 Firehose 流的来源，每个 Firehose 流的默认配额为每个分区的读取吞吐量 10 MB/秒，最大记录大小为 10MB。您可以使用增加服务配额来请求增加每个分区读取吞吐量 10 MB/秒的默认配额。

  • 以亚马逊 MSK 作为 Firehose 直播的来源，如果启用 Amazon Lambda，则最大记录大小为 6Mb；如果禁用 Lambda，则最大记录大小为 10Mb。 Amazon Lambda 将其传入记录上限为 6 MB，Amazon Data Firehose 将超过 6Mb 的记录转发到错误 S3 存储桶。如果禁用 Lambda，Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从亚马逊 MSK 收到的记录大小大于 10MB，则亚马逊数据 Firehose 会将此记录传送到 S3 错误存储桶，并向你的账户发出 Cloudwatch 指标。有关 Amazon Lambda 限制的更多信息，请参阅：https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。

  • 在传输流上启用动态分区后，可以为该传输流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如，如果动态分区查询每秒构造 3 个分区，并且您有一个缓冲区提示配置，每 60 秒触发一次传输，那么平均您将拥有 180 个活动分区。在分区中传输数据后，该分区将不再处于活动状态。您可以使用 Amazon Data Firehose 限制表单申请将此配额增加到每个给定传输流 5000 个活动分区。如果您需要更多分区，则可以创建更多传输流，并在这些传输流之间分配活动分区。

  • 在传输流上启用动态分区后，每个活动分区支持的最大吞吐量为每秒 1GB。

  • 每个账号在每个区域的 Firehose 直播数量上将有以下配额：

    • 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、亚太地区（东京）：5,000 个传输流

    • 欧洲（法兰克福）、欧洲（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（首尔）、亚太地区（孟买）、 Amazon GovCloud （美国西部）、加拿大（西部）、加拿大（中部）：2,000 个传送流

    • 欧洲（巴黎）、欧洲（米兰）、欧洲（斯德哥尔摩）、亚太地区（香港）、亚太地区（大阪）、南美洲（圣保罗）、中国（宁夏）、中国（北京）、中东（巴林）、 Amazon GovCloud （美国东部）、非洲（开普敦）：500 个传送流

    • 欧洲（苏黎世）、欧洲（西班牙）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、中东（阿联酋）、以色列（特拉维夫）、加拿大西部（卡尔加里）、加拿大（中部）：100 个传送流

    • 如果超出此数字，调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额，可以使用 Service Quotas（如果该服务在您的区域可用）。有关使用服务限额的信息，请参阅请求增加配额。如果您所在的地区没有服务配额，您可以使用 Amazon Data Firehose 限制表单申请增加配额。

  • 将 D irect PUT 配置为数据源时，每个 Firehose 流为PutRecord和PutRecordBatch请求提供以下组合配额：

    • 对于美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）和欧洲地区（爱尔兰）：500,000 条记录/秒，2,000 个请求/秒，5MiB/秒。

    • 适用于美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、 Amazon GovCloud （美国东部）、 Amazon GovCloud （美国西部）、亚太地区（香港）、亚太地区（孟买）、亚太地区（首尔）、亚太地区（新加坡）、中国（北京）、中国（宁夏）、亚太地区（悉尼）、亚太地区（东京）、加拿大（中部）、加拿大西部（卡尔加里）、欧洲（法兰克福）、欧洲（伦敦）、欧洲（巴黎）)、欧洲（斯德哥尔摩）、中东（巴林）、南美洲（圣保罗）、非洲（开普敦）和欧洲（米兰）：100,000 条记录/秒、1,000 次请求/秒、1 MiB/秒。

    要申请增加配额，请使用 Amazon Data Firehose 限制表单。这三个配额成比例扩展。例如，如果将美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）或欧洲地区（爱尔兰）的吞吐量配额增加到 10MiB/秒，其他两个配额将分别增加到 4,000 个请求/秒和 1,000,000 条记录/秒。

    重要

    如果增加的配额远高于运行的流量，这会导致传输到目标的批次很少。从而造成效率低下，并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额，并在流量增加时进一步提高配额。

    重要

    请注意，数据记录越少，成本越高。Firehose 摄取定价基于您发送到服务的数据记录数量，乘以每条记录的大小，四舍五入到最接近的 5KB（5120 字节）。因此，在输入数据量（字节）相同的情况下，如果输入记录的数量越多，产生的成本就会越高。例如，如果传入的总数据量为 5MiB，则与使用 1,000 条记录发送相同数量的数据相比，发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息，请参阅计算器中的 Amazon Data Firehose。Amazon

    注意

    将 Kinesis Data Streams 配置为数据源时，此配额不适用，Amazon Data Firehose 可以不受限制地向上和向下扩展。

  • 每个 Firehose 流最多可存储 24 小时的数据记录，以防传送目的地不可用且源不可用。 DirectPut如果源是 Kinesis Data Streams（KDS），且目标位置不可用，则数据将根据您的 KDS 配置保留。

  • 在 base64 编码之前，发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。

  • PutRecordBatch 操作每次调用可处理 500 条记录或 4 MB，以较小者为准。无法更改此配额。

  • 以下操作每秒最多可以提供 5 次调用（硬性限制）：CreateDeliveryStream、DeleteDeliveryStream、DescribeDeliveryStream、ListDeliveryStreams、UpdateDestination、TagDeliveryStream、UntagDeliveryStream、ListTagsForDeliveryStream、StartDeliveryStreamEncryption 和 StopDeliveryStreamEncryption。

  • 缓冲间隔提示范围：60 秒 - 900 秒。

  • 要从亚马逊 Data Firehose 传输到亚马逊 Redshift，仅支持可公开访问的亚马逊 Redshift 集群。

  • Amazon Red OpenSearch shift 和服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。

  • Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6，以及所有 6.* 和 7.* 版本以及 2.11 之前的亚马逊 OpenSearch 服务 2.x。

  • 当目标为亚马逊 S3、亚马逊 Redshift 或 OpenSearch 服务时，Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk，配额为每个分片 10 次未完成的 Lambda 调用。

  • 您可以使用 CUSTOMER_MANAGED_CMK 类型的 CMK 加密多达 500 个传输流。