适用于 Apache Flink 的亚马逊托管服务 1.19 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Apache Flink 的亚马逊托管服务 1.19

适用于 Apache Flink 的托管服务现在支持 Apache Flink 版本 1.19.1。本节向您介绍了 Apache Flink 1.19.1 的 Apache Flink 托管服务支持 Apache Flink 时引入的主要新功能和更改。

注意

如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 1.19.1,则可以使用就地升级 Apache Flink 版本来实现。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。通过就地版本升级,您可以针对ARN各个 Apache Flink 版本保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。

Apache Flink 1.19.1 在中引入了改进 SQLAPI,例如命名参数、自定义源代码并行度以及各种 Flink 运算符的不同状态。TTLs

支持的功能和相关文档
支持的特征 描述 Apache Flink 文档参考
SQLAPI: Suppor TTLs t 使用SQL提示配置不同的状态 用户现在可以在直播常规加入和群组聚合TTL上配置状态。 FLIP-373:使用提示配置不同的状态 TTLs SQL
SQLAPI: Support 支持函数和调用过程的命名参数 用户现在可以在函数中使用命名参数,而不必依赖参数的顺序。 FLIP-378: 支持函数和调用过程的命名参数
SQLAPI: 为源设置并行度 SQL 用户现在可以为SQL源指定并行度。 FLIP-367:Support 为表/源设置并行度 SQL
SQLAPI: Support 会话窗口 TVF 用户现在可以使用会话窗口表值函数。 FLINK-24024:Support 会话窗口 TVF
SQLAPI: 窗口TVF聚合支持变更日志输入 用户现在可以对变更日志输入进行窗口聚合。 FLINK-20281:窗口聚合支持变更日志流输入

Support Python 3.11

Flink 现在支持 Python 3.11,与 Python 3.10 相比,速度提高了 10-60%。有关更多信息,请参阅 Python 3.11 中的新增功能。 FLINK-33030:添加 python 3.11 支持
提供 TwoPhaseCommitting 水槽指标 用户可以在提交接收器两个阶段中查看有关提交者状态的统计信息。 FLIP-371: 为在中创建提交者提供初始化上下文 TwoPhaseCommittingSink

跟踪报告者以重启作业和检查点检查

用户现在可以监控检查点持续时间和恢复趋势的跟踪。在适用于 Apache Flink 的亚马逊托管服务中,我们默认启用 slf4j 跟踪报告器,因此用户可以通过应用程序日志监控检查点和任务跟踪。 CloudWatch FLIP-384:引入 TraceReporter 并使用它来创建检查点和恢复跟踪
注意

您可以通过提交支持案例来选择使用以下功能:

选择加入功能和相关文档
选择加入功能 描述 Apache Flink 文档参考
Support 支持在源处理待办事项时使用更大的检查点间隔 这是一项可选功能,因为用户必须根据自己的特定工作要求调整配置。 FLIP-309:当源处理待办事项时,Support 支持使用更大的检查点间隔
将 system.out 和 system.err 重定向到 Java 日志 这是一项可选功能。在适用于 Apache Flink 的亚马逊托管服务上,默认行为是忽略 System.out 和 System.err 的输出,因为生产中的最佳实践是使用原生 Java 记录器。 FLIP-390:Support System 已关闭然后将错误重定向到或丢弃 LOG

有关 Apache Flink 1.19.1 版本文档,请参阅 A p ache Flink 文档 v1.19.1。

默认情况下启用日志跟踪报告器

Apache Flink 1.19.1 引入了检查点和恢复跟踪,使用户能够更好地调试检查点和作业恢复问题。在适用于 Apache Flink 的 Amazon 托管服务中,这些跟踪记录记录到 CloudWatch 日志流中,允许用户分解任务初始化所花费的时间并记录检查点的历史大小。

默认重启策略现在是指数延迟

在 Apache Flink 1.19.1 中,指数延迟重启策略有了显著改进。在 Flink 1.19.1 及更高版本的 Apache Flink 的亚马逊托管服务中,Flink 作业默认使用指数延迟重启策略。这意味着用户作业可以更快地从暂时错误中恢复,但如果任务重新启动持续存在,则不会使外部系统过载。

组件 版本
Java 11(推荐使用)
Python

3.11

Kinesis Data Analytics Flink 运行时 () aws-kinesisanalytics-runtime 1.2.0
连接器 有关可用连接器的信息,请参阅 Apache Flink 连接器。
Apache Beam(仅限 Beam 应用程序)

Flink 1.19 没有兼容的 Apache Flink Runner。有关更多信息,请参阅 Flink 版本兼容性

阿帕奇光束

目前 Apache Beam 中没有与 Flink 1.19 兼容的 Apache Flink Runner。有关更多信息,请参阅 Flink 版本兼容性

适用于 Apache Flink Studio 的亚马逊托管服务

Studio 使用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单界面开发体验。齐柏林飞艇的 Flink 解释器需要升级才能支持 Flink 1.19。这项工作由齐柏林飞艇社区安排,我们将在完成后更新这些注意事项。你可以继续将 Flink 1.15 与适用于 Apache Flink Studio 的亚马逊托管服务一起使用。有关更多信息,请参阅创建 Studio 笔记本