开发具有专用吞吐量的增强扇出型消费端 - Amazon Kinesis Data Streams
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开发具有专用吞吐量的增强扇出型消费端

在 Amazon Kinesis Data Streams 中,可以构建使用增强型扇出功能的消费端。利用此功能,消费端可以从流中接收记录,其数据吞吐量高达每分片 2 MB/秒。此为专用吞吐量,这意味着,使用增强型扇出功能的消费端不必与接收流中数据的其他消费端争夺。Kinesis Data Streams 将流中的数据记录推送到使用增强型扇出功能的消费端。因此,这些消费端无需轮询数据。

重要

在按需优势模式下,您可以为每个直播注册多达 50 个消费者,以使用增强的扇出功能。使用按需标准和预配置直播,您可以为每个直播注册最多 20 个使用者,以使用增强的扇出功能。

下图显示的是增强型扇出功能架构。如果使用 2.0 版或更高版本的 Amazon Kinesis Client Library(KCL)构建消费端,则 KCL 会将消费端设置为使用增强型扇出功能接收来自流的所有分片的数据。如果使用 API 构建使用增强型扇出功能的消费端,则可订阅单个分片。

显示具有两个分片和两个消费端的增强型扇出功能架构的工作流程图。这两个消费端均使用增强型扇出功能接收来自流的两个分片的数据。

此图显示以下内容:

  • 一个具有两个分片的流。

  • 使用增强型扇出功能接收流中数据的两个消费端:消费端 X 和消费端 Y。这两个消费端均已订阅流的所有分片和所有记录。如果使用 2.0 版或更高版本的 KCL 构建消费端,则 KCL 将自动为消费端订阅流的所有分片。另一方面,如果使用 API 构建消费端,则可订阅单个分片。

  • 表示消费端用于接收流中数据的增强型扇出功能管道的箭头。增强的扇出管道为每个分片提供最多 2 MB/sec 个数据,与任何其他管道或使用者总数无关。

共享吞吐量消费端和增强扇出型消费端之间的区别

下表将默认共享吞吐量与增强型扇出型消费端进行比较。消息传播延迟定义为使用负载调度(如和)发送的有效负载通过消耗负载(如和)到达使用者应用程序所花费的时间 APIs (如PutRecordPutRecords),以毫秒为单位。 APIs GetRecords SubscribeToShard

下表比较了共享吞吐量消费端与增强扇出型消费端
特性 无增强扇出功能的共享吞吐量消费端 增强扇出型消费端
读取吞吐量

固定为 MB/sec 每个碎片总共有 2 个。如果有多个消费端正在从同一分片进行读取,则它们将全部共享此吞吐量。它们从分片中接收的吞吐量总和不会超出 2 MB/秒。

随着消费端注册进行扩展以使用增强型扇出功能。注册为使用增强型扇出功能的每个消费端均接收其自己的每个分片的读取吞吐量,最多 2MB/秒,独立于其他消费端。

消息传播延迟

平均约 200 毫秒(如果您有一个从流中读取的消费端)。如果您有五个消费端,则这个平均值高达约 1000 毫秒。

通常情况下,平均为 70 毫秒,无论您是拥有一个消费端,还是五个消费端。

成本 不适用

存在数据检索费用和消费端分片小时费用。有关更多信息,请参阅 Amazon Kinesis Data Streams 定价

记录传输模型

使用通过 HTTP 提取模型 GetRecords。

Kinesis Data Streams 使用通过 HTTP/ SubscribeToShard 2 将记录推送给你。

支持最多 50 个增强型扇出消费者的区域(仅限按需优势)

在按需优势模式下,支持最多 50 个增强型扇出使用者仅在以下 Amazon 区域提供:

Amazon 区域 区域名称

eu-north-1

欧洲地区(斯德哥尔摩)

me-south-1

中东(巴林)

ap-south-1

亚太地区(孟买)

eu-west-3

欧洲地区(巴黎)

ap-southeast-3

亚太地区(雅加达)

us-east-2

美国东部(俄亥俄州)

af-south-1

非洲(开普敦)

eu-west-1

欧洲地区(爱尔兰)

me-central-1

中东(阿联酋)

eu-central-1

欧洲地区(法兰克福)

sa-east-1

南美洲(圣保罗)

ap-east-1

亚太地区(香港)

ap-south-2

亚太地区(海得拉巴)

us-east-1

美国东部(弗吉尼亚州北部)

ap-northeast-2

亚太地区(首尔)

ap-northeast-3

亚太地区(大阪)

eu-west-2

欧洲地区(伦敦)

ap-southeast-4

亚太地区(墨尔本)

ap-northeast-1

亚太地区(东京)

us-west-2

美国西部(俄勒冈州)

us-west-1

美国西部(北加利福尼亚)

ap-southeast-1

亚太地区(新加坡)

ap-southeast-2

亚太地区(悉尼)

il-central-1

以色列(特拉维夫)

ca-central-1

加拿大(中部)

ca-west-1

加拿大西部(卡尔加里)

eu-south-2

欧洲地区(西班牙)

cn-northwest-1

中国(宁夏)

eu-central-2

欧洲(苏黎世)

us-gov-east-1

Amazon GovCloud (美国东部)

us-gov-west-1

Amazon GovCloud (美国西部)