步骤 1:创建数据流 - Amazon Kinesis Data Streams
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

步骤 1:创建数据流

教程:使用 KPL 和 KCL 1.x 处理实时股票数据 的第一步中,创建后续步骤中将用到的流。

创建流
  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Kinesis 控制台:https://console.aws.amazon.com/kinesisvideo/home

  2. 在导航窗格中,选择 Data Streams (数据流)

  3. 在导航栏中,展开区域选择器并选择一个区域。

  4. 选择 Create Kinesis stream (创建 Kinesis 流)

  5. 输入流的名称(例如,StockTradeStream)。

  6. 在分片数量中输入 1,但保留Estimate the number of shards you'll need (估计您需要的分片数量) 为折叠状态。

  7. 选择 Create Kinesis stream (创建 Kinesis 流)

Kinesis 流列表页面上,流状态在创建流的过程中为 CREATING。当流可以使用时,状态会更改为 ACTIVE。选择流的名称。在显示的页面中,Details (详细信息) 选项卡会显示您的流配置摘要。Monitoring (监控) 部分显示流的监控信息。

有关分片的其他信息

在本教程之外开始使用 Kinesis Data Streams 时,可能需要更仔细地计划流创建过程。在配置分片时,您应规划预计最大需求。以此方案为例,美国股票市场某一天(东部时间)的交易流量峰值以及需求估计值应该从这一天的时间中采样。随后,您可以选择配置最大预计需求,或扩大或缩小流以响应需求波动。

分片 是吞吐容量的单位。在创建 Kinesis 流页面中,展开估计您需要的分片数量。根据以下准则输入平均记录大小、每秒写入的最大记录数以及使用应用程序数量:

平均记录大小

您的记录的计算平均大小的估计值。如果您不知道此值,请使用估计的最大记录大小作为此值。

最大写入记录数

考虑提供数据的实体的数量以及每个实体每秒生成的记录的大约数量。例如,如果要从 20 台交易服务器获取股票交易数据,并且每台服务器每秒生成 250 次交易,则每秒的交易(记录)总数为 5000。

使用的应用程序数

应用程序的数量,这些应用程序单独从流进行读取以采用不同的方式处理流并生成不同的输出。每个应用程序可具有在不同计算机上运行(即在群集中运行)的多个实例,以便能跟进大容量流。

如果显示的估计分片数量超过当前分片数量限制,则可能需要先提交提高限制的请求,然后才能创建具有此分片数量的流。要请求增大分片限制,请使用 Kinesis Data Streams 限制表单。有关流和分片的更多信息,请参阅 创建和管理流

后续步骤

步骤 2:创建 IAM policy 和用户