亚马逊 Data Firehose 配额 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 Data Firehose 配额

本节介绍了 Amazon Data Firehose 中的当前配额（以前称为限制）。除非另行指定，否则每个配额将基于区域应用。

Service Quotas 控制台是一个中心位置，您可以在其中查看和管理 Amazon 服务配额，并请求增加您使用的许多资源的配额。使用我们提供的配额信息来管理您的 Amazon 基础架构。请根据需要请提前计划以请求提高限额。

有关更多信息，请参阅中的 Amazon Data Firehose 终端节点和配额。 Amazon Web Services 一般参考

以下部分显示亚马逊数据 Firehose 的配额如下。

  • 以亚马逊MSK作为Firehose流的来源，每个Firehose流的默认配额为每个分区的读取吞吐量为10 MB/秒，最大记录大小为10MB。您可以使用增加服务配额来请求增加每个分区读取吞吐量 10 MB/秒的默认配额。

  • 如果亚马逊MSK作为 Firehose 流的来源，则如果启用 Lambda，则最大记录大小为 6 MB；如果禁用 Amazon Lambda，则最大记录大小为 10 MB。 Amazon Lambda 将其传入记录上限为 6 MB，Amazon Data Firehose 将超过 6Mb 的记录转发到错误 S3 存储桶。如果禁用 Lambda，Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从亚马逊收到的记录大小超过 10 MBMSK，则亚马逊数据 Firehose 会将该记录传送到 S3 错误存储桶，并向您的账户发出 Cloudwatch 指标。有关 Amazon Lambda 限制的更多信息，请参阅：https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。

  • 在 Firehose 流上启用动态分区后，可以为该 Firehose 流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如，如果动态分区查询每秒构造 3 个分区，并且您有一个缓冲区提示配置，每 60 秒触发一次传输，那么平均您将拥有 180 个活动分区。在分区中传输数据后，该分区将不再处于活动状态。您可以使用 Amazon Data Firehose 限制表单申请将此配额增加到每个给定 Firehose 流的 5000 个活动分区。如果您需要更多分区，则可以创建更多的 Firehose 流，并将活动分区分布到这些流中。

  • 在 Firehose 流上启用动态分区后，每个活动分区支持的最大吞吐量为每秒 1 GB。

  • 每个账号的每个区域的 Firehose 直播数量将有以下配额：

    • 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（俄勒冈）、欧洲（爱尔兰）、亚太地区（东京）：5,000 个 Firehose 直播

    • 欧洲（法兰克福）、欧洲（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（首尔）、亚太地区（孟买）、（美国西部）、加拿大 Amazon GovCloud （西部）、加拿大（中部）：2,000 个 Firehose 直播

    • 欧洲（巴黎）、欧洲（米兰）、欧洲（斯德哥尔摩）、亚太地区（香港）、亚太地区（大阪）、南美洲（圣保罗）、中国（宁夏）、中国（北京）、中东（巴林）、（美国东部）、非洲 Amazon GovCloud （开普敦）：500 个 Firehose 直播

    • 欧洲（苏黎世）、欧洲（西班牙）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、中东（UAE）、以色列（特拉维夫）、加拿大西部（卡尔加里）、加拿大（中部）、亚太地区（马来西亚）：100 个 Firehose 直播

    • 如果超过此数字，则调用会CreateDeliveryStream导致LimitExceededException异常。要提升此配额，可以使用 Service Quotas（如果该服务在您的区域可用）。有关使用服务限额的信息，请参阅请求增加配额。如果您所在的地区没有服务配额，您可以使用 Amazon Data Firehose 限制表单申请增加配额。

  • 当将 D PUT irect 配置为数据源时，每个 Firehose 流会为PutRecord和PutRecordBatch请求提供以下组合配额：

    • 美国东部（弗吉尼亚北部）、美国西部（俄勒冈）和欧洲（爱尔兰）：500,000 records/second, 2,000 requests/second, and 5 MiB/second。

    • 适用于美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、 Amazon GovCloud （美国东部）、 Amazon GovCloud （美国西部）、亚太地区（香港）、亚太地区（孟买）、亚太地区（首尔）、亚太地区（新加坡）、中国（北京）、中国（宁夏）、亚太地区（悉尼）、亚太地区（东京）、加拿大（中部）、加拿大西部（卡尔加里）、欧洲（法兰克福）、欧洲（伦敦）、欧洲（巴黎））、欧洲（斯德哥尔摩）、中东（巴林）、南美洲（圣保罗）、非洲（开普敦）、亚太地区（马来西亚）和欧洲（米兰）：100,000。records/second, 1,000 requests/second, and 1 MiB/second

    要申请增加配额，请使用亚马逊数据 Firehose 限制表单。这三个配额成比例扩展。例如，如果您将美国东部（弗吉尼亚北部）、美国西部（俄勒冈）或欧洲（爱尔兰）的吞吐量配额增加到 10 MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second。

    重要

    如果增加的配额远高于运行的流量，这会导致传输到目标的批次很少。从而造成效率低下，并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额，并在流量增加时进一步提高配额。

    重要

    请注意，数据记录越少，成本越高。Firehose 摄取定价基于您发送到服务的数据记录数量，乘以每条记录的大小，四舍五入到最接近的 5KB（5120 字节）。因此，在输入数据量（字节）相同的情况下，如果输入记录的数量越多，产生的成本就会越高。例如，如果传入的总数据量为 5MiB，则与使用 1,000 条记录发送相同数量的数据相比，发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息，请参阅计算器中的 Amazon Data Firehose。Amazon

    注意

    将 Kinesis Data Streams 配置为数据源时，此配额不适用，Amazon Data Firehose 可以不受限制地向上和向下扩展。

  • 每个 Firehose 流最多可存储 24 小时的数据记录，以防传送目的地不可用且源不可用。 DirectPut如果源是 Kinesis Dat KDS a Streams () 并且目标不可用，则将根据KDS您的配置保留数据。

  • 在 base64 编码之前，发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。

  • 该PutRecordBatch操作每次呼叫最多可占用 500 条记录或每次呼叫 4 MiB（以较小者为准）。无法更改此配额。

  • 以下每项操作每秒最多可提供五次调用，这是一个硬性限制。

  • 缓冲间隔提示范围：60 秒 - 900 秒。

  • 要从亚马逊 Data Firehose 传输到亚马逊 Redshift，仅支持可公开访问的亚马逊 Redshift 集群。

  • Amazon Red OpenSearch shift 和服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。

  • Firehose 支持 Elasticsearch 版本 — 1.5、2.3、5.1、5.3、5.5、5.6 以及所有 6.*、7.* 和 8.* 版本。Firehose 支持高达 2.11 的亚马逊 OpenSearch 服务 2.x。

  • 当目标为亚马逊 S3、亚马逊 Redshift 或 OpenSearch 服务时，Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk，配额为每个分片 10 次未完成的 Lambda 调用。

  • 你可以使用 of 类型CMKCUSTOMER_MANAGED_CMK对多达 500 个 Firehose 直播进行加密。