本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
适用于 Apache Flink 的 Kinesis Data Analytics 的早期版本信息
在新区域中,我们仅支持服务可用时及以后的最新 Flink 版本。
本主题包含有关将 Kinesis Data Analytics 与旧 Apache Flink 版本一起使用的信息。Kinesis Data Analytics 所支持的 Apache Flink 版本是1.13.2(建议),1.11.3、1.11.1、1.8.2和1.6.2.
建议您将支持的最新 Apache Flink 版本与 Kinesis Data Analytics 应用程序一起使用。Apache Flink 版本 1.13.2 具有以下功能:
对该项的支持Apache Flink 表 API 和 SQL
Support Python 应用程序。
Support Java 版本 11 和 Scala 版本 2.12
改进的内存模型
RockSDB 优化以提高应用程序稳定性
Support Apache Flink 控制面板中的任务管理器和堆栈跟踪。
本主题包含下列部分:
将 Apache Flink Kinesis Streams 连接器与早期 Apache Flink 版本一起使用
Apache Flink Kinesis Streams 连接器在 1.11 版之前没有包含在 Apache Flink 中。要使应用程序将 Apache Flink Kinesis 连接器与早期 Apache Flink 版本一起使用,您必须下载、编译并安装应用程序使用的 Apache Flink 版本。该连接器用于使用来自作为应用程序源的 Kinesis 流的数据,或者将数据写入到用于应用程序输出的 Kinesis 流中。
确保你正在使用构建连接器KPL 0.14.0
要下载并安装 Apache Flink 版本 1.8.2 源代码,请执行以下操作:
确保已安装 Apache Maven
,并且 JAVA_HOME
环境变量指向 JDK 而不是 JRE。您可以使用以下命令测试 Apache Maven 安装:mvn -version
下载 Apache Flink 版本 1.8.2 源代码:
wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz
解压缩 Apache Flink 源代码:
tar -xvf flink-1.8.2-src.tgz
转到 Apache Flink 源代码目录:
cd flink-1.8.2
编译并安装 Apache Flink:
mvn clean install -Pinclude-kinesis -DskipTests
注意 如果你正在微软 Windows 上编译 Flink,你需要添加
-Drat.skip=true
参数。
使用 Apache Flink 1.8.2 构建应用程序
本节包含有关用于构建与 Apache Flink 1.8.2 一起使用的 Kinesis Data Analytics 应用程序的组件的信息。
将以下组件版本用于 Kinesis Data Analytics 应用程序:
组件 | 版本 |
---|---|
Java | 1.8(建议) |
Apache Flink | 1.8.2 |
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime) | 1.0.1 |
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
要使用 Apache Flink 1.8.2 编译应用程序,请使用以下参数运行 Maven:
mvn package -Dflink.version=1.8.2
对于一个例子pom.xml
该文件适用于使用 Apache Flink 版本 1.8.2 的 Kinesis Data Analytics 应用程序的适用于 Flink 的 Kinesis Data Analytics 1.8.2 入门应用程序
有关如何为 Kinesis Data Analytics 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序.
使用 Apache Flink 1.6.2 构建应用程序
本节包含有关用于构建与 Apache Flink 1.6.2 一起使用的 Kinesis Data Analytics 应用程序的组件的信息。
将以下组件版本用于 Kinesis Data Analytics 应用程序:
组件 | 版本 |
---|---|
Java | 1.8(建议) |
AmazonJava 软件开发工具包 | 1.11.379 |
Apache Flink | 1.6.2 |
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime) | 1.0.1 |
Kinesis Data Analytics Flink 连接器 (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
Apache Beam | Apache Flink 1.6.2 不支持。 |
使用 Kinesis Data Analytics 运行时版本1.0.1,你可以在你的pom.xml
文件而不是使用-Dflink.version
编译应用程序代码时的参数。
对于一个例子pom.xml
该文件适用于使用 Apache Flink 版本 1.6.2 的 Kinesis Data Analytics 应用程序的适用于 Flink 的 Kinesis Data Analytics 1.6.2 入门应用程序
有关如何为 Kinesis Data Analytics 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序.
升级应用程序
要升级 Kinesis Data Analytics 应用程序的版本,您必须更新应用程序代码、删除之前的应用程序,然后使用更新的代码创建新应用程序。为此,请执行以下操作:
更改 Kinesis Data Analytics 运行时和 Kinesis Data Analytics Flink 连接器的版本(aws-kinesisanalytics-flink) 在你的应用程序
pom.xml
文件到 1.1.0。从应用程序的
pom.xml
文件中删除flink.version
属性。在下一步中编译应用程序代码时,您将提供该参数。使用以下命令重新编译应用程序代码:
mvn package -Dflink.version=1.13.2
删除现有的应用程序。再次创建应用程序,然后选择Apache Flink 版本 1.13.2(推荐版本)对于应用程序运行时.
不能使用以前应用程序版本的快照。
Apache Flink 1.6.2 和 1.8.2 中的可用连接器
Apache Flink 框架包含用于从各种源中访问数据的连接器。
有关 Apache Flink 1.6.2 框架中的可用连接器的信息,请参阅连接器 (1.6.2)
中的Apache Flink 文档 (1.6.2) . 有关 Apache Flink 1.8.2 框架中的可用连接器的信息,请参阅连接器 (1.8.2)
中的Apache Flink 文档 (1.8.2) .