Amazon Kinesis Data Streams
开发人员指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。请点击 Amazon AWS 入门,可查看中国地区的具体差异

第 1 步:创建流

在此步骤中,您可创建将在后续步骤中使用的流。

创建流

  1. 通过以下网址打开 Kinesis 控制台:https://console.amazonaws.cn/kinesis

  2. 选择 Go to the Streams console

  3. 在导航栏中,展开区域选择器并选择一个区域。

  4. 选择 Create Kinesis stream

  5. 键入流名称 (例如,StockTradeStream)。

  6. 在分片数量中键入 1,但保持 Estimate the number of shards you'll need 折叠。

  7. 选择 Create Kinesis stream

Kinesis streams 列表页上,在创建流的过程中,流状态为 CREATING。当流可以使用时,状态会更改为 ACTIVE。选择流的名称。在显示的页面中,Details 选项卡会显示您的流配置摘要。Monitoring 部分显示流的监控信息。

有关分片的其他信息

当您开始在本学习模块外使用 Kinesis Data Streams 时,您可能需要更仔细地计划流创建过程。在配置分片时,您应规划预计最大需求。以此方案为例,美国股票市场某一天(东部时间)的交易流量峰值以及需求估计值应该从这一天的时间采样。随后,您可以选择配置最大预计需求,或扩大或缩小流以响应需求波动。

分片 是吞吐容量的单位。在 Create Kinesis stream 页面中,展开 Estimate the number of shards you'll need。根据以下准则键入平均记录大小、每秒写入的最大记录数以及使用的应用程序数:

平均记录大小

您的记录的计算平均大小的估计值。如果您不知道此值,请使用估计的最大记录大小作为此值。

最大写入记录数

考虑提供数据的实体的数量以及每个实体每秒生成的记录的大约数量。例如,如果要从 20 台交易服务器获取股票交易数据,并且每台服务器每秒生成 250 次交易,则每秒的交易(记录)总数为 5000。

使用的应用程序数

应用程序的数量,这些应用程序单独从流进行读取以采用不同的方式处理流并生成不同的输出。每个应用程序可具有在不同的计算机上运行 (即在集群中运行) 的多个实例,以便能跟进大容量流。

如果显示的估计分片数超过当前分片数限制,您可能需要先提交增大限制的请求,然后才能具有该数量的分片的流。要请求增大分片限制,请使用 Kinesis Data Streams 限制表单。有关流和分片的更多信息,请参阅 Kinesis Stream使用 Java 管理 Kinesis Stream

本页内容: