Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Managed Service for Apache Flink 的早期版本信息
本主题包含有关将 Managed Service for Apache Flink与旧版本 Apache Flink 结合使用的信息。Managed Service for Apache Flink 支持的 Apache Flink 版本是 1.15.2(推荐)、1.13.2 、1.11.1、1.8.2 和 1.6.2。
我们建议您将最新支持的 Apache Flink 版本与 Managed Service for Apache Flink 应用程序结合使用。Apache Flink 版本 1.15.2 具有以下功能:
支持 Python 应用程序。
支持 Java 版本 11 和任何 Scala 版本
改进的内存模型
RocksDB 优化可提高应用程序稳定性
在 Apache Flink 控制面板中支持任务管理器和堆栈跟踪。
本主题包含下列部分:
将 Apache Flink Kinesis Streams 连接器与之前的 Apache Flink 版本一起使用
在 1.11 版本之前,Apache Flink Kinesis Streams 连接器未包含在 Apache Flink 中。为了使您的应用程序能够将 Apache Flink Kinesis 连接器与以前版本的 Apache Flink 结合使用,您必须下载、编译并安装您的应用程序使用的 Apache Flink 版本。该连接器用于使用来自作为应用程序源的 Kinesis 流的数据,或者将数据写入到用于应用程序输出的 Kinesis 流中。
注意
确保使用 KPL 版本 0.14.0
要下载并安装 Apache Flink 1.8.2 版源代码,请执行以下操作:
确保已安装 Apache Maven
,并且 JAVA_HOME
环境变量指向 JDK 而不是 JRE。您可以使用以下命令测试 Apache Maven 安装:mvn -version
下载 Apache Flink 版本 1.8.2 源代码:
wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz
解压缩 Apache Flink 源代码:
tar -xvf flink-1.8.2-src.tgz
转到 Apache Flink 源代码目录:
cd flink-1.8.2
编译并安装 Apache Flink:
mvn clean install -Pinclude-kinesis -DskipTests
注意
如果您在微软 Windows 上编译 Flink,则需要添加
-Drat.skip=true
参数。
使用 Apache Flink 1.8.2 构建应用程序
本节包含有关用于构建与 Apache Flink 1.8.2 一起使用的 Managed Service for Apache Flink 应用程序的组件的信息。
使用 Managed Service for Apache Flink 应用程序的下列组件版本:
组件 | 版本 |
---|---|
Java | 1.8(建议) |
Apache Flink | 1.8.2 |
Flink 运行时的 Managed Service for Apache Flink (aws-kinesisanalytics-runtime) | 1.0.1 |
Managed Service for Apache Flink Flink 连接器 (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
要使用 Apache Flink 1.8.2 编译应用程序,请使用以下参数运行 Maven:
mvn package -Dflink.version=1.8.2
有关使用 Apache Flink 版本 1.8.2 的 Managed Service for Apache Flink应用程序的pom.xml
文件示例,请参阅适用于 Managed Service for Apache Flink 1.8.2 入门应用程序。
有关如何为 Managed Service for Apache Flink 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序。
使用 Apache Flink 1.6.2 构建应用程序
本节包含有关用于构建与 Apache Flink 1.6.2 一起使用的 Managed Service for Apache Flink 应用程序组件的信息。
使用 Managed Service for Apache Flink 应用程序的下列组件版本:
组件 | 版本 |
---|---|
Java | 1.8(建议) |
AmazonJava 软件开发工具包 | 1.11.379 |
Apache Flink | 1.6.2 |
Flink 运行时的 Managed Service for Apache Flink (aws-kinesisanalytics-runtime) | 1.0.1 |
Managed Service for Apache Flink Flink 连接器 (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
Apache Beam | Apache Flink 1.6.2 不支持。 |
注意
在使用 Managed Service for Apache Flink 运行时版本 1.0.1 时,您可以在pom.xml
文件中指定 Apache Flink 版本,而不是在编译应用程序代码时使用-Dflink.version
参数。
有关使用 Apache Flink 版本 1.6.2 的 Managed Service for Apache Flink 应用程序的pom.xml
文件示例,请参阅Managed Service for Apache Flink 1.6.2 入门应用程序。
有关如何为 Managed Service for Apache Flink 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序。
升级应用程序
要升级 Managed Service for Apache Flink 应用程序的版本,必须更新应用程序代码,删除以前的应用程序,然后使用更新的代码创建新的应用程序。为此,请执行以下操作:
将应用程序
pom.xml
文件中 Managed Service for Apache Flink 运行时和 Managed Service for Apache Flink 连接器 (aws-kinesisanalytics-flink) 的版本更改为 1.1.0。从应用程序的
pom.xml
文件中删除flink.version
属性。在下一步中编译应用程序代码时,您将提供该参数。使用以下命令重新编译应用程序代码:
mvn package -Dflink.version=1.15.3
删除现有的应用程序。再次创建应用程序,然后为应用程序的运行时选择 Apache Flink 版本 1.15.2(推荐版本)。
注意
您不能使用先前应用程序版本中的快照。
Apache Flink 1.6.2 和 1.8.2 中的可用连接器
Apache Flink 框架包含用于从各种源中访问数据的连接器。