本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
教程:使用适用于 Apache Flink 的亚马逊托管服务分析实时股票数据
本教程的场景涉及将股票交易引入数据流中并编写对流执行计算的简单的适用于 Apache Flink 的亚马逊托管服务应用程序。您将了解如何将记录流发送到 Kinesis Data Streams 并实现近乎实时地使用和处理记录的应用程序。
借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Java 或 Scala 来处理和分析流数据。该服务能让您根据流式处理源编写并运行 Java 或 Scala 代码,以执行时间序列分析、为实时控制面板提供信息和创建实时指标。
您可以在适用于 Apache Flink 的托管服务中使用基于 Apache Flink
重要
在创建两个数据流和一个应用程序后,将象征性地向您的账户收取 Kinesis Data Streams 和适用于 Apache Flink 的托管服务使用费,因为这两项服务没有获得 Amazon Free Tier 的资格。在使用完此应用程序后,请删除 Amazon 资源以停止产生费用。
代码不访问实际股票市场数据,而是模拟股票交易流。它通过使用随机股票交易生成器来实现这一点。如果您有权访问实时的股票交易流,则可能有兴趣从该流派生有用且及时的统计数据。例如,您可能希望执行滑动窗口分析,从而确定前 5 分钟内购买的最热门股票。或者,您可能希望在销售订单过大(即具有过多股份)时收到通知。可以扩展此系列代码以提供此类功能。
显示的示例使用美国西部(俄勒冈州)区域,但它们适用于支持适用于 Apache Flink 的托管服务的任何 Amazon 区域。
任务
完成练习的先决条件
要完成本指南中的步骤,您必须满足以下条件:
-
Java 开发工具包
(JDK) 版本 8。设置 JAVA_HOME
环境变量,使其指向您的 JDK 安装位置。 -
我们建议您使用开发环境(如 Eclipse Java Neon
或 IntelliJ Idea )来开发和编译您的应用程序。 -
Git 客户端
。如果尚未安装 Git 客户端,请安装它。 -
Apache Maven 编译器插件
。Maven 必须位于您的有效路径中。要测试您的 Apache Maven 安装,请输入以下内容: $ mvn -version
要开始,请转到设置 Amazon 账户并创建管理员用户。