入门：Flink 1.6.2 - Amazon Kinesis Data Analytics
应用程序组件先决条件
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

入门：Flink 1.6.2

本主题包含一个使用 Flink 1.6.2 的 入门 教程版本。

主题

适用于 Java 的 Kinesis Data Analytics 应用程序的组件

为了处理数据，Kinesis Data Analytics 应用程序使用 Java/Apache Maven 应用程序，该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Kinesis Data Analytics for Java application 具有以下组件：

  • 运行时属性：您可以使用运行时属性 配置应用程序，而无需重新编译应用程序代码。

  • 源：应用程序通过源 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息，请参阅源。

  • 操作符：应用程序使用一个或多个操作符 以处理数据。操作符可以转换、丰富或聚合数据。有关更多信息，请参阅操作符。

  • 接收器：应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入到 Kinesis 数据流、Kinesis Data Firehose 传输流、Amazon S3 存储桶等。有关更多信息，请参阅接收器。

在创建、编译和打包 Java 应用程序后，您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后，您创建一个 Kinesis Data Analytics 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源，它通常是接收应用程序处理的数据的流或文件位置。

完成练习的先决条件

要完成本指南中的步骤，您必须满足以下条件：

  • Java 开发工具包 (JDK) 版本 8。设置 JAVA_HOME 环境变量，使其指向您的 JDK 安装位置。

  • 我们建议您使用开发环境（如 Eclipse Java Neon 或 IntelliJ Idea）来开发和编译您的应用程序。

  • Git 客户端。 如果尚未安装 Git 客户端，请安装它。

  • Apache Maven 编译器插件。Maven 必须位于您的有效路径中。要测试您的 Apache Maven 安装，请输入以下内容： 

    $ mvn -version
    注意

    Kinesis Data Analytics for Java Applications 仅支持使用 Apache Maven 构建的 Java 应用程序。

要开始，请转到步骤 1：设置 AWS 账户并创建管理员用户。