Apache Flink - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Flink

Apache Flink 是一个流式处理数据流引擎,您可以使用此引擎在高吞吐量数据源上轻松运行实时流处理。Flink 支持事件 out-of-order 的事件时间语义、exactly-once 语义、背压控制以及为编写流媒体和批处理应用程序而优化的 API。

此外,Flink 具有适用于第三方数据源的连接器,例如以下内容:

Amazon EMR 支持 Flink 作为 YARN 应用程序,以便您能管理资源以及集群中的其它应用程序。利用 Flink-on-YARN,您可以提交临时 Flink 作业,也可以创建一个长时间运行的集群,该集群接受多个作业并根据整体 YARN 预留分配资源。

Flink 包含在 Amazon EMR发行版 5.1.0 及更高版本中。

注意

在 Amazon EMR 5.2.1 发行版本中增加了对 FlinkKinesisConsumer 类的支持。

下表列出了 Amazon EMR 7.x 系列的最新发行版附带的 Flink 的版本,以及 Amazon EMR 随 Flink 一起安装的组件。

有关此版本中与 Flink 一起安装的组件的版本,请参阅 7.1.0 版本的组件版本。

emr-7.1.0 的 Flink 版本信息
Amazon EMR 发行版标签 Flink 版本 随 Flink 安装的组件

emr-7.1.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 Flink 的版本,以及 Amazon EMR 随 Flink 一起安装的组件。

有关此发行版中随 Flink 安装的组件版本,请参阅发行版 6.15.0 组件版本

emr-6.15.0 的 Flink 版本信息
Amazon EMR 发行版标签 Flink 版本 随 Flink 安装的组件

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 Flink 的版本,以及 Amazon EMR 随 Flink 一起安装的组件。

有关此版本中与 Flink 一起安装的组件的版本,请参阅 5.36.2 版本的组件版本。

emr-5.36.2 的 Flink 版本信息
Amazon EMR 发行版标签 Flink 版本 随 Flink 安装的组件

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config