教程:将 Kinesis Data Analytics 用于 Flink 应用程序分析实时股票数据 - Amazon Kinesis Data Streams
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

教程:将 Kinesis Data Analytics 用于 Flink 应用程序分析实时股票数据

本教程的场景涉及将股票交易引入数据流中并编写一个简单的Amazon Kinesis Data Analytics应用程序,该应用程序在流上执行计算。您将了解如何将记录流发送到 Kinesis Data Streata Streata Streata,并实施几乎能实时使用和处理记录的应用程序。

借助 Flink 应用程序的 Amazon Kinesis Data Analytics,您可以使用 Java 或 Scala 来处理和分析流数据。您可以使用该服务针对流式传输源创建并运行 Java 或 Scala 代码,以执行时间序列分析,为实时控制面板提供信息以及创建实时指标。

您可以在 Kinesis Data Analytics 中使用基于Apache Flink。Apache Flink 是处理数据流的常用框架和引擎。

重要

在创建两个数据流和一个应用程序后,您的账户将象征性地向 Kinesis Data Streams alytics(Kinesis Data Analytics)收取使用费,因为没有获得Amazon免费套餐。在使用完此应用程序后,请删除您的Amazon资源停止产生费用。

代码不访问实际股票市场数据,而是模拟股票交易流。它通过使用随机股票交易生成器来实现这一点。如果您有权访问实时的股票交易流,则可能有兴趣从该流派生有用且及时的统计数据。例如,您可能希望执行滑动窗口分析,从而确定前 5 分钟内购买的最热门股票。或者,您可能希望在销售订单过大(即具有过多股份)时收到通知。可以扩展此系列代码以提供此类功能。

显示的示例使用的是美国西部 (俄勒冈) 区域,但它们可使用任何Amazon支持 Kinesis Data Analytics 的区域

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

  • Java 开发工具包 (JDK) 版本 8。设置 JAVA_HOME 环境变量,使其指向您的 JDK 安装位置。

  • 我们建议您使用开发环境(如 Eclipse Java NeonIntelliJ Idea)来开发和编译您的应用程序。

  • Git 客户端。 如果尚未安装 Git 客户端,请安装它。

  • Apache Maven 编译器插件。Maven 必须位于您的有效路径中。要测试您的 Apache Maven 安装,请输入以下内容:

    $ mvn -version
    注意

    Flink 应用程序的 Kinesis Data Analytics 仅支持使用 Apache Maven 构建的 Java 和 Flink 应用程序。

要开始,请转到第 1 步:设置Amazon帐户并创建管理员用户