适用于 Apache Flink 的 Kinesis Data Analytics 的早期版本信息 - Amazon Kinesis Data Analytics
将 Apache Flink Kinesis Streams 连接器与早期 Apache Flink 版本一起使用使用 Apache Flink 1.8.2 构建应用程序使用 Apache Flink 1.6.2 构建应用程序升级应用程序Apache Flink 1.6.2 和 1.8.2 中的可用连接器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

适用于 Apache Flink 的 Kinesis Data Analytics 的早期版本信息

注意

在新区域中，我们仅支持服务可用时及以后的最新 Flink 版本。

本主题包含有关将 Kinesis Data Analytics 与旧 Apache Flink 版本一起使用的信息。Kinesis Data Analytics 所支持的 Apache Flink 版本是1.13.2(建议),1.11.3、1.11.1、1.8.2和1.6.2.

建议您将支持的最新 Apache Flink 版本与 Kinesis Data Analytics 应用程序一起使用。Apache Flink 版本 1.13.2 具有以下功能：

  • 对该项的支持Apache Flink 表 API 和 SQL

  • Support Python 应用程序。

  • Support Java 版本 11 和 Scala 版本 2.12

  • 改进的内存模型

  • RockSDB 优化以提高应用程序稳定性

  • Support Apache Flink 控制面板中的任务管理器和堆栈跟踪。

本主题包含下列部分：

将 Apache Flink Kinesis Streams 连接器与早期 Apache Flink 版本一起使用

Apache Flink Kinesis Streams 连接器在 1.11 版之前没有包含在 Apache Flink 中。要使应用程序将 Apache Flink Kinesis 连接器与早期 Apache Flink 版本一起使用，您必须下载、编译并安装应用程序使用的 Apache Flink 版本。该连接器用于使用来自作为应用程序源的 Kinesis 流的数据，或者将数据写入到用于应用程序输出的 Kinesis 流中。

注意

确保你正在使用构建连接器KPL 0.14.0或者更高。

要下载并安装 Apache Flink 版本 1.8.2 源代码，请执行以下操作：

  1. 确保已安装 Apache Maven，并且 JAVA_HOME 环境变量指向 JDK 而不是 JRE。您可以使用以下命令测试 Apache Maven 安装：

    mvn -version

  2. 下载 Apache Flink 版本 1.8.2 源代码：

    wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

  3. 解压缩 Apache Flink 源代码：

    tar -xvf flink-1.8.2-src.tgz

  4. 转到 Apache Flink 源代码目录：

    cd flink-1.8.2

  5. 编译并安装 Apache Flink：

    mvn clean install -Pinclude-kinesis -DskipTests
    注意

    如果你正在微软 Windows 上编译 Flink，你需要添加-Drat.skip=true参数。

使用 Apache Flink 1.8.2 构建应用程序

本节包含有关用于构建与 Apache Flink 1.8.2 一起使用的 Kinesis Data Analytics 应用程序的组件的信息。

将以下组件版本用于 Kinesis Data Analytics 应用程序：

组件 版本
Java 1.8（建议）
Apache Flink 1.8.2
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime） 1.0.1
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink） 1.0.1
Apache Maven 3.1

要使用 Apache Flink 1.8.2 编译应用程序，请使用以下参数运行 Maven：

mvn package -Dflink.version=1.8.2

对于一个例子pom.xml该文件适用于使用 Apache Flink 版本 1.8.2 的 Kinesis Data Analytics 应用程序的适用于 Flink 的 Kinesis Data Analytics 1.8.2 入门应用程序.

有关如何为 Kinesis Data Analytics 应用程序构建和使用应用程序代码的信息，请参阅创建应用程序.

使用 Apache Flink 1.6.2 构建应用程序

本节包含有关用于构建与 Apache Flink 1.6.2 一起使用的 Kinesis Data Analytics 应用程序的组件的信息。

将以下组件版本用于 Kinesis Data Analytics 应用程序：

组件 版本
Java 1.8（建议）
AmazonJava 软件开发工具包 1.11.379
Apache Flink 1.6.2
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime） 1.0.1
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink） 1.0.1
Apache Maven 3.1
Apache Beam Apache Flink 1.6.2 不支持。
注意

使用 Kinesis Data Analytics 运行时版本1.0.1，你可以在你的pom.xml文件而不是使用-Dflink.version编译应用程序代码时的参数。

对于一个例子pom.xml该文件适用于使用 Apache Flink 版本 1.6.2 的 Kinesis Data Analytics 应用程序的适用于 Flink 的 Kinesis Data Analytics 1.6.2 入门应用程序.

有关如何为 Kinesis Data Analytics 应用程序构建和使用应用程序代码的信息，请参阅创建应用程序.

升级应用程序

要升级 Kinesis Data Analytics 应用程序的版本，您必须更新应用程序代码、删除之前的应用程序，然后使用更新的代码创建新应用程序。为此，请执行以下操作：

  • 更改 Kinesis Data Analytics 运行时和 Kinesis Data Analytics Flink 连接器的版本（aws-kinesisanalytics-flink) 在你的应用程序pom.xml文件到 1.1.0。

  • 从应用程序的 pom.xml 文件中删除 flink.version 属性。在下一步中编译应用程序代码时，您将提供该参数。

  • 使用以下命令重新编译应用程序代码：

    mvn package -Dflink.version=1.13.2

  • 删除现有的应用程序。再次创建应用程序，然后选择Apache Flink 版本 1.13.2（推荐版本）对于应用程序运行时.

注意

不能使用以前应用程序版本的快照。

Apache Flink 1.6.2 和 1.8.2 中的可用连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。