本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
配额和限制
Amazon Kinesis Data Streams 具有以下数据流和分片配额和限制。
-
在账户中,使用预配模式的直播数量没有上限。
-
默认情况下,在您的Amazon账户中,您可以使用按需容量模式创建多达 50 个数据流。如果您需要增加此配额,请联系Amazon支持人员。
-
以下Amazon区域的默认分区配额为每个Amazon账户(弗吉尼亚北部)、美国西部(弗吉尼亚北部)、美国西部(弗吉尼亚北部)、美国西部(俄勒冈)和欧洲(爱尔兰)。对于所有其他区域,默认分片配额为每个Amazon账户 200 个分片。此限制仅适用于采用预置容量模式的数据流。
要申请增加每个数据流的分片数配额,请按照请求提升配额中概述的步骤操作。
-
单个分片可以提取多达每秒 1 MB 的数据(包括分区键)或每秒写入 1000 个记录。同样,如果将流扩展到 5000 个分片,则流每秒可以提取多达 5 GB 数据或 500 万个记录。如果您需要更多的采集容量,您可以使用Amazon Web Services Management Console或 UpdateShardCountAPI 轻松增加流中的分区数量。
-
使用 base64 编码之前记录的数据有效负载的最大大小为 1 MB。
-
GetRecords每次调用最多可以从单个分区检索 10 MB 的数据,每次调用最多可检索 10,000 条记录。对
GetRecords
的每次调用都算作一个读取事务。 -
每个分片每秒可支持多达 5 个读取事务。每个读取事务可提供多达 10000 个记录,每个事务的配额上限为 10 MB。
-
每个分片最多可通过以下方式支持每秒 2 MB 的最大总数据读取速率GetRecords。如果对
GetRecords
的调用返回 10 MB,则在接下来的 5 秒内发出的后续调用将会引发异常。 -
默认情况下,使用按需容量模式创建的新数据流具有 4 MB/s 的 “写入” 吞吐量和 8 MB/s 的 “读取” 吞吐量。随着流量的增加,按需容量模式下的数据流可扩展至 200 MB/s 的 “写入” 吞吐量和 400 MB/s 的 “读取” 吞吐量。如果您需要将写入容量增加到 1 Gb/s 和 2Gb/s 读取容量,请联系Amazon Web Services Support中心
。 -
默认情况下,在您的Amazon账户中,您可以使用按需容量模式创建多达 50 个数据流。如果您需要增加此配额,请联系Amazon支持人员。
-
您可以为每个数据流创建 20 个注册使用者(增强型扇出限制)。
-
对于Amazon账户中的每个数据流,您可以在 24 小时内两次在按需和预配置容量模式之间切换。
API 限制
与大多数Amazon API 一样,Kinesis Data Streams API 操作也有速率限制。以下限制适用于每个地区的每个Amazon账户。有关 Kinesis Data Streams API 的更多信息,请参阅 Amazon Kinesis API 参考。
KDS 控制层面 API 限制
下一节介绍 KDS 控制层面 API 限制。利用 KDS 控制平面 API,您可以创建和管理数据流。这些限制适用于每个地区的每个Amazon账户。
控制层面 API 限制 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
API | API 调用限制 | 流级别限制 | 其他详细信息 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AddTagsToStream | 每秒 5 个事务 (TPS) | 每个区域每个账户每个数据流 50 个标签 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
CreateStream | 5 TPS | 在账户中可以拥有的流数量没有配额上限。 | LimitExceededException 当您尝试执行以下任一操作时,您会在 CreateStream发出请求时收到:
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DecreaseStreamRetentionPeriod | 5 TPS | 数据流的保留期的最小值为 24 小时。 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DeleteStream | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DeregisterStreamConsumer | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DescribeLimits | 1 TPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DescribeStream | 10 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DescribeStreamConsumer | 20 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DescribeStreamSummary | 20 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DisableEnhancedMonitoring | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
EnableEnhancedMonitoring | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
IncreaseStreamRetentionPeriod | 5 TPS | 直播保留期的最大值为 8760 小时(365 天)。 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ListShards | 1000 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ListStreamConsumers | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ListStreams | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ListTagsForStream | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MergeShards | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
RegisterStreamConsumer | 5 TPS | 您最多可以为每个数据流注册 20 个使用者。每次只能在一个数据流中注册给定的使用者。只能同时创建 5 个使用者。换句话说,同时处于“正在创建”状态的使用者不能超过 5 个。在有 5 个消费者处于 “正在创建” 状态时注册第 6 个消费者,结果是 LimitExceededException。 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
RemoveTagsFromStream | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
SplitShard | 5 TPS | 不适用 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
StartStreamEncryption | 在连续的的的 24 小时期间内,您可以为服务器端加密成功应用 25 次新的 KMS 密Amazon钥。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
StopStreamEncryption | 在连续 24 小时期间,您可以成功禁用服务器端加密 25 次。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
UpdateShardCount |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
UpdateStreamMode |
|
数据层面 API 限制
下一部分介绍 KDS 数据平面 API 的限制。利用 KDS 数据平面 API,您可以使用数据流实时收集和处理数据记录。下面是您的数据流中的每分片限制。
数据层面 API 限制 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
API | API 调用限制 | 负载限制 | 其他详细信息 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
GetRecords | 5 TPS | 每次调用可返回的最大记录数为 10000 个。 GetRecords 可以返回的数据的最大大小为 10 MB。 | 如果调用返回此数量的数据,则在接下来的 5 秒内进行的后续调用将抛出ProvisionedThroughputExceededException。如果流上的预置吞吐量不足,则在接下来的 1 秒钟内进行的后续调用会抛出ProvisionedThroughputExceededException。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
GetShardIterator | 5 TPS | 分片迭代器在其返回给请求者的 5 分钟后过期。如果 GetShardIterator 请求过于频繁,您会收到 ProvisionedThroughputExceededException. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
PutRecord | 1000 TPS | 每个分片最多可以支持每秒写入 1000 条记录,最大数据写入总数为每秒 1 MB。 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
PutRecords | 每个 PutRecords 请求最多可支持 500 条记录。请求中的每一个记录最大可以为 1 MB,整个请求的上限为 5 MB,包括分区键。每个分片最多可以支持每秒写入 1000 条记录,最大数据写入总数为每秒 1 MB。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
SubscribeToShard | 对于每个分片,每个注册使用者 SubscribeToShard 每秒可以调用一次。 | 如果您使用相同的 CoConsumerARN SubscribeToShard 再次致电,并且ShardId 在通话成功后的 5 秒钟内,您将获得ResourceInUseException。 |
提升配额
如果配额是可调整的,则可以使用服务配额来请求增加配额。有些请求会自动解决,而另一些请求则提交给SuAmazon pport 部门。您可以跟踪提交给Support 人员的配额增加请求的Amazon状态。提高服务配额的请求没有得到优先支持。如果您有紧急请求,请联系SuAmazon pport 部门。有关更多信息,请参阅什么是服务配额?。
要请求增加服务配额,请按照请求增加配额中概述的步骤操作。