Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。
Amazon Managed Service for Apache Flink 1.20
现在,Managed Service for Apache Flink Studio 支持 Apache Flink 1.20.0 版本。本节向您介绍 Managed Service for Apache Flink 支持 Apache Flink 1.20.0 后引入的关键新功能和更改。Apache Flink 1.20 预计将是最后一个 1.x 版本,也是 Flink 的长期支持(LTS)版本。有关更多信息,请参阅 FLIP-458:对 Apache Flink 1.x 产品线最终版本的长期支持
注意
如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 1.20.0,则可以使用就地升级 Apache Flink 版本来实现。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。
支持的功能
Apache Flink 1.20.0 对 SQL API、DataStream API 和 Flink 控制面板进行了改进。
| 支持的功能 | 描述 | Apache Flink 文档参考 |
|---|---|---|
| 添加 DISTRIBUTED BY 子句 | 许多 SQL 引擎都公开 Partitioning、Bucketing 或 Clustering 的概念。Flink 1.20 向 Flink 引入 Bucketing 的概念。 |
FLIP-376:添加 DISTRIBUTED BY 子句 |
| DataStream API:支持完整分区处理 | Flink 1.20 引入对通过 FullPartitionWindow API 在非密钥流上进行聚合的内置支持。 |
FLIP-380:支持在非密钥 DataStream 上进行完整分区处理 |
| 在 Flink 控制面板上显示数据偏斜分数 | Flink 1.20 控制面板现在可以显示数据偏斜信息。Flink 作业图用户界面上的每个操作员都会显示一个额外的数据偏斜分数。 | FLIP-418:在 Flink 控制面板上显示数据偏斜分数 |
有关 Apache Flink 1.20.0 发布文档,请参阅 Apache Flink 文档 v1.20.0
组件
| 组件 | 版本 |
|---|---|
| Java | 11(推荐使用) |
| Python |
3.11 |
| Kinesis Data Analytics Flink 运行时(aws-kinesisanalytics-runtime) | 1.2.0 |
| 连接器 | 有关可用连接器的信息,请参阅 Apache Flink 连接器。 |
| Apache Beam(仅限 Beam 应用程序) |
Flink 1.20 没有兼容的 Apache Flink 运行器。有关更多信息,请参阅 Flink 版本兼容性 |
已知问题
Apache Beam
目前 Apache Beam 中没有与 Flink 1.20 兼容的 Apache Flink 运行器。有关更多信息,请参阅 Flink 版本兼容性
Amazon Managed Service for Apache Flink Studio
Amazon Managed Service for Apache Flink Studio 利用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单一界面开发体验。Zeppelin 的 Flink 解释器需要升级才能支持 Flink 1.20。这项工作由 Zeppelin 社区计划。此工作完成后,我们将更新这些备注。您可以继续将 Flink 1.15 与 Amazon Managed Service for Apache Flink Studio 结合使用。有关更多信息,请参阅创建 Studio 笔记本。
向后移植的错误修复
Amazon Managed Service for Apache Flink 向后移植 Flink 社区针对关键问题的修复。以下是我们向后移植的错误修复列表:
| Apache Flink JIRA 链接 | 描述 |
|---|---|
| FLINK-35886 |
此修复解决子任务被反压/阻止时导致水印空闲超时计算不正确的问题。 |