Flink Kinesis Flink - Amazon Kinesis Data Analytics
在之前的 Apache Flink Kinesis Streams 连接器中使用 Apache Flink使用 Apacacle Flink Flink 1.8.2使用 Apache Flink 1.6.2 构建应用程序升级应用程序Apacacle Flink Flink 1.6.2 和 1.8.2
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Flink Kinesis Flink

本主题包含有关在旧版本的 Apache Flink 上使用 Kinesis Data Analytics 的信息。Kinesis Data Analytics 支持的 Apache Flink 版本为 1.15.2（推荐）、1.13.2、1.11.1、1.8.2 和 1.6.2。

建议您使用支持的最新版本 Apacace FKinesis Data Analytics。Apache Flink 版本 1.15.2 具有以下功能：

  • Support Apache Flink Table API 和 SQL

  • Support 的 Pyton Pytics

  • Support Java 版本 11 和 Scala 版本 2.12

  • 改进的内存模型

  • RocksDB 优化可提高应用程序稳定性

  • 在 Apache Flink 控制面板中Support 任务管理器和堆栈跟踪。

本主题包含下列部分：

在之前的 Apache Flink Kinesis Streams 连接器中使用 Apache Flink

在 1.11 版本之前，Apache Flink Kinesis Streams 连接器不包含在 Apache Flink 中。为了让您的应用程序将 Apache Flink Kinesis 连接器与 Apache Flink 的先前版本一起使用，您必须下载、编译和安装您的应用程序使用的 Apache Flink 版本。此连接器用于处理用作应用程序源的 Kinesis 流中的数据，或将数据写入用于应用程序输出的 Kinesis 流。

注意

确保使用 KPL 版本 0.14.0 或更高版本构建连接器。

要下载并安装 Apache Flink 版本 1.8.2 源代码，请执行以下操作：

  1. 确保已安装 Apache Maven，并且 JAVA_HOME 环境变量指向 JDK 而不是 JRE。您可以使用以下命令测试 Apache Maven 安装：

    mvn -version

  2. 下载 Apache Flink 版本 1.8.2 源代码：

    wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

  3. 解压缩 Apache Flink 源代码：

    tar -xvf flink-1.8.2-src.tgz

  4. 转到 Apache Flink 源代码目录：

    cd flink-1.8.2

  5. 编译并安装 Apache Flink：

    mvn clean install -Pinclude-kinesis -DskipTests
    注意

    如果你在微软 Windows 上编译 Flink，你需要添加-Drat.skip=true参数。

使用 Apacacle Flink Flink 1.8.2

本节包含有关用于构建与 Apache Flink 1.8.2 配合使用的 Kinesis Data Analytics 应用程序的组件的信息。

将以下组件版本用于 Kinesis Data Analytics 应用程序：

组件 版本
Java 1.8（建议）
Apache Flink 1.8.2
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime) 1.0.1
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink) 1.0.1
Apache Maven 3.1

要使用 Apache Flink 1.8.2 编译应用程序，请使用以下参数运行 Maven：

mvn package -Dflink.version=1.8.2

有关使用 Apache Flink 版本 1.8.2 的 Kinesis Data Analytics 应用程序pom.xml的文件示例，请参阅 Fl ink 1.8.2 版 Kinesis Data Analytics 入门应用程序。

有关如何为 Kinesis 应用程序，请参阅创建应用程序。

使用 Apache Flink 1.6.2 构建应用程序

本节包含有关用于构建与 Apache Flink 1.6.2 配合使用的 Kinesis Data Analytics 应用程序的组件的信息。

将以下组件版本用于 Kinesis Data Analytics 应用程序：

组件 版本
Java 1.8（建议）
AmazonJava 软件开发工具包 1.11.379
Apache Flink 1.6.2
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime) 1.0.1
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink) 1.0.1
Apache Maven 3.1
Amazon Beat Apacle Flink Flink 1.6.2。
注意

使用 Kinesis Data Analytics 运行时版本 1.0.1 时，您可以在pom.xml文件中指定 Apache Flink 的版本，而不是在编译应用程序代码时使用-Dflink.version参数。

有关使用 Apache Flink 版本 1.6.2 的 Kinesis Data Analytics 应用程序pom.xml的文件示例，请参阅 Fl ink 1.6.2 版 Kinesis Data Analytics 入门应用程序。

有关如何为 Kinesis 应用程序，请参阅创建应用程序。

升级应用程序

要升级 Kinesis Data Analytics 应用程序的版本，必须更新应用程序代码，删除以前的应用程序，并使用更新后的代码创建新应用程序。为此，请执行以下操作：

  • 将应用程序pom.xml文件中的 Kinesis Data Analytics 运行时和 Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink) 的版本更改为 1.1.0。

  • 从应用程序的 pom.xml 文件中删除 flink.version 属性。在下一步中编译应用程序代码时，您将提供该参数。

  • 使用以下命令重新编译应用程序代码：

    mvn package -Dflink.version=1.15.3

  • 删除现有的应用程序。再次创建您的应用程序，然后选择 Apache Flink 版本 1.15.2（推荐版本）作为应用程序的运行时间。

注意

您不能使用以前应用程序版本的快照。

Apacacle Flink Flink 1.6.2 和 1.8.2

Apache Flink 框架包含用于从各种源中访问数据的连接器。