Amazon Managed Service for Apache Flink 1.20 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。

Amazon Managed Service for Apache Flink 1.20

现在,Managed Service for Apache Flink Studio 支持 Apache Flink 1.20.0 版本。本节向您介绍 Managed Service for Apache Flink 支持 Apache Flink 1.20.0 后引入的关键新功能和更改。Apache Flink 1.20 预计将是最后一个 1.x 版本,也是 Flink 的长期支持(LTS)版本。有关更多信息,请参阅 FLIP-458:对 Apache Flink 1.x 产品线最终版本的长期支持

注意

如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 1.20.0,则可以使用就地升级 Apache Flink 版本来实现。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。

Apache Flink 1.20.0 对 SQL API、DataStream API 和 Flink 控制面板进行了改进。

支持的功能和相关文档
支持的功能 描述 Apache Flink 文档参考
添加 DISTRIBUTED BY 子句 许多 SQL 引擎都公开 PartitioningBucketingClustering 的概念。Flink 1.20 向 Flink 引入 Bucketing 的概念。 FLIP-376:添加 DISTRIBUTED BY 子句
DataStream API:支持完整分区处理 Flink 1.20 引入对通过 FullPartitionWindow API 在非密钥流上进行聚合的内置支持。 FLIP-380:支持在非密钥 DataStream 上进行完整分区处理
在 Flink 控制面板上显示数据偏斜分数 Flink 1.20 控制面板现在可以显示数据偏斜信息。Flink 作业图用户界面上的每个操作员都会显示一个额外的数据偏斜分数。 FLIP-418:在 Flink 控制面板上显示数据偏斜分数

有关 Apache Flink 1.20.0 发布文档,请参阅 Apache Flink 文档 v1.20.0。有关 Flink 1.20 发布说明,请参阅发布说明 - Flink 1.20

Flink 1.20 组件
组件 版本
Java 11(推荐使用)
Python

3.11

Kinesis Data Analytics Flink 运行时(aws-kinesisanalytics-runtime) 1.2.0
连接器 有关可用连接器的信息,请参阅 Apache Flink 连接器
Apache Beam(仅限 Beam 应用程序)

Flink 1.20 没有兼容的 Apache Flink 运行器。有关更多信息,请参阅 Flink 版本兼容性

Apache Beam

目前 Apache Beam 中没有与 Flink 1.20 兼容的 Apache Flink 运行器。有关更多信息,请参阅 Flink 版本兼容性

Amazon Managed Service for Apache Flink Studio

Amazon Managed Service for Apache Flink Studio 利用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单一界面开发体验。Zeppelin 的 Flink 解释器需要升级才能支持 Flink 1.20。这项工作由 Zeppelin 社区计划。此工作完成后,我们将更新这些备注。您可以继续将 Flink 1.15 与 Amazon Managed Service for Apache Flink Studio 结合使用。有关更多信息,请参阅创建 Studio 笔记本

向后移植的错误修复

Amazon Managed Service for Apache Flink 向后移植 Flink 社区针对关键问题的修复。以下是我们向后移植的错误修复列表:

向后移植的错误修复
Apache Flink JIRA 链接 描述
FLINK-35886 此修复解决子任务被反压/阻止时导致水印空闲超时计算不正确的问题。