Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStreamAPI)
本节向您介绍适用于 Apache Flink 的托管服务和 API 的基本概念。 DataStream 它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。
主题
查看适用于 Apache Flink 的托管服务应用程序的组件
为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时系统处理输入和生成输出。
Managed Service for Apache Flink 应用程序包含以下组件:
-
运行时系统属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。
-
源:应用程序通过源 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅 源。
-
运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 DataStream API 操作员。
-
接收器:应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入 Kinesis 数据流、Firehose 流、Amazon S3 存储桶等。有关更多信息,请参阅 接收器。
在创建、编译和打包您的应用程序代码后,您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后,您创建一个 Managed Service for Apache Flink 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。
满足完成练习的先决条件
要完成本指南中的步骤,您必须满足以下条件:
-
Java 开发工具包 (JDK) 版本 11
。设置 JAVA_HOME
环境变量,使其指向您的 JDK 安装位置。 -
我们建议您使用开发环境(如 Eclipse Java Neon
或 IntelliJ Idea )来开发和编译您的应用程序。 -
Git 客户端
。如果尚未安装 Git 客户端,请安装它。 -
Apache Maven 编译器插件
。Maven 必须位于您的有效路径中。要测试您的 Apache Maven 安装,请输入以下内容: $ mvn -version
要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户。