Amazon Data Firehose 配额 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon Data Firehose 配额

本节介绍 Amazon Data Firehose 中的当前配额（以前称为限制）。除非另行指定，否则每个配额将基于区域应用。

您可以通过服务限额控制台集中查看和管理 Amazon 服务限额，以及请求提高所使用各种资源的限额。使用我们提供的限额信息来管理您的 Amazon 基础设施。请根据需要请提前计划以请求提高限额。

有关更多信息，请参阅 Amazon Web Services 一般参考 中的 Amazon Data Firehose endpoints and quotas。

下一节显示 Amazon Data Firehose 具有以下配额。

  • 将 Amazon MSK 作为 Firehose 流的源，每个 Firehose 流的默认配额为每个分区读取吞吐量 10 MB/秒，最大记录大小 10 MB。

  • 将 Amazon MSK 作为 Firehose 流的源，如果启用 Amazon Lambda，则最大记录大小为 6 MB；如果禁用 Lambda，则最大记录大小为 10 MB。AmazonLambda 将其传入记录限制为 6 MB，Amazon Data Firehose 将超过 6 MB 的记录转发到 S3 错误存储桶。如果禁用 Lambda，Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从 Amazon MSK 收到超过 10 MB 的记录大小，则 Amazon Data Firehose 会将该记录传输​​到 S3 错误存储桶，并向您的账户发出 Cloudwatch 指标。有关 Amazon Lambda 限制的更多信息，请参阅 Lambda 配额。

  • 在 Firehose 流上启用动态分区后，可以为该 Firehose 流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如，如果动态分区查询每秒构造 3 个分区，并且您有一个缓冲区提示配置，每 60 秒触发一次传输，那么平均您将拥有 180 个活动分区。在分区中传输数据后，该分区将不再处于活动状态。如果您需要更多分区，则可以创建更多 Firehose 流，并在这些流之间分配活动分区。

  • 在 Firehose 流上启用动态分区后，每个活动分区支持的最大吞吐量为每秒 1 GB。

  • 每个账户对每个区域的 Firehose 流数量具有以下配额：

    • 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、亚太地区（东京）：5,000 个 Firehose 流

    • 欧洲地区（法兰克福）、欧洲地区（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（首尔）、亚太地区（孟买）、Amazon GovCloud（美国西部）、加拿大（西部）、加拿大（中部）：2,000 个 Firehose 流

    • 欧洲地区（巴黎）、欧洲地区（米兰）、欧洲地区（斯德哥尔摩）、亚太地区（香港）、亚太地区（大阪）、南美洲（圣保罗）、中国（宁夏）、中国（北京）、中东（巴林）、Amazon GovCloud（美国东部）、非洲（开普敦）：500 个 Firehose 流

    • 欧洲（苏黎世）、欧洲（西班牙）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、中东（阿联酋）、以色列（特拉维夫）、加拿大西部（卡尔加里）、加拿大（中部）、亚太地区（马来西亚）、亚太地区（泰国）、墨西哥（中部）：100 个 Firehose 流

    • 如果超出此数字，调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额，可以使用 Service Quotas（如果该服务在您的区域可用）。有关使用服务限额的信息，请参阅请求增加配额。

  • 当 Direct PUT 配置为数据来源时，每个 Firehose 流为 PutRecord 和 PutRecordBatch 请求提供以下组合配额：

    • 对于美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）和欧洲地区（爱尔兰）：500,000 条记录/秒，2,000 个请求/秒，5MiB/秒。

    • 对于其他 Amazon Web Services 区域：100000 条记录/秒、1000 个请求/秒和 1 MiB/秒。

    如果由于较高的数据摄取量超过 Firehose 流的吞吐能力而导致直接 PUT 流受到节流，则 Amazon Data Firehose 会自动提高流的吞吐量限制，直到节流得到控制。根据吞吐量的增加和节流，Firehose 可能需要更长的时间才能将数据流的吞吐量提高到所需的水平。因此，请继续重试失败的数据摄取记录。如果您预计数据量会突然大幅增加，或者您的新数据流需要的吞吐量比默认吞吐量限制更高，则请求提高吞吐量限制。

    这三个配额成比例扩展。例如，如果将美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）或欧洲地区（爱尔兰）的吞吐量配额增加到 10MiB/秒，其他两个配额将分别增加到 4,000 个请求/秒和 1,000,000 条记录/秒。

    注意

    • 请勿使用资源级别限制和配额来控制您对服务的使用。

    • 当 Kinesis Data Streams 配置为数据来源时，此配额不适用，Amazon Data Firehose 可无限扩展和缩减。

    • 如果增加的配额远高于运行的流量，这会导致传输到目标的批次很少。从而造成效率低下，并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额，并在流量增加时进一步提高配额。

    • 数据记录越少，成本越高。Firehose 摄取定价基于您发送到服务的数据记录数，乘以每条记录的大小，四舍五入到最接近的 5 KB（5120 字节）。因此，在输入数据量（字节）相同的情况下，如果输入记录的数量越多，产生的成本就会越高。例如，如果传入的总数据量为 5MiB，则与使用 1,000 条记录发送相同数量的数据相比，发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息，请参阅 Amazon Calculator 中的 Amazon Data Firehose。

  • 每个 Firehose 流最多可存储 24 小时的数据记录，以防传输目的地不可用且源为 DirectPut。如果源是 Kinesis Data Streams（KDS），且目标位置不可用，则数据将根据您的 KDS 配置保留。

  • 在进行 base64 编码之前，发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。

  • PutRecordBatch 操作每次调用最多可占用 500 条记录，或每次调用最多占用 4MiB，以较小者为准。无法更改此配额。

  • 以下每项操作每秒最多可以提供 5 次调用，这是硬性限制。

  • 缓冲间隔提示范围：60 秒 - 900 秒。

  • 对于从 Amazon Data Firehose 到 Amazon Redshift 的传输，仅支持可公开访问的 Amazon Redshift 集群。

  • 对于 Amazon Redshift 和 OpenSearch Service 传输，重试持续时间范围为 0 秒到 7,200 秒。

  • 当目的地是 Amazon S3、Amazon Redshift 或 OpenSearch Service 时，Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk，配额为每个分片 10 次未完成的 Lambda 调用。

  • 您可以使用类型 CUSTOMER_MANAGED_CMK 的 CMK 最多加密 500 个 Firehose 流。