Amazon Managed Service for Apache Flink 1.15.2 发布 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Managed Service for Apache Flink 1.15.2 发布

Managed Service for Apache Flink 支持 Apache 1.15.2 中的以下新功能

特征 描述 Apache FLIP 参考
异步接收器 一个用于构建异步目标的Amazon贡献框架,允许开发人员以不到先前一半的工作量来构建自定义Amazon连接器。有关更多信息,请参阅通用异步基础接收器 FLIP-171:异步接收器
Kinesis Data Firehose 接收器 Amazon使用异步框架贡献了一个新的 Amazon Kinesis Firehose 接收器。 Amazon Kinesis Data Firehose 接收器
停止运行 SavePoint Stop with Savepoint 可确保干净的停止操作,最重要的是为依赖它们的客户支持一次性语义。 FLIP-34:使用 SavePoint 终止/暂停任务。
Scala 解耦 用户现在可以利用任何 Scala 版本的 Java API,包括 Scala 3。客户需要将自己选择的 Scala 标准库捆绑到他们的 Scala 应用程序中。 FLIP-28:长期目标是让 flink-table 没有 Scala。
Scala 参见上面的 Scala 解耦 FLIP-28:长期目标是让 flink-table 没有 Scala。
统一连接器指标 Flink 为任务、任务和运算符定义了标准指标。Managed Service for Apache Flink 将继续支持接收器和源指标,并在 1.15 中与可用性指标numRestarts并行fullRestarts引入。 FLIP-33:标准化连接器指标FLIP-179:公开标准化运算符指标
检查已完成的任务 此功能在 Flink 1.15 中默认处于启用状态,即使任务图的某些部分已完成所有数据的处理,也可以继续执行检查点,如果它包含有界(批处理)源,则可能会发生这种情况。 FLIP-147:任务完成后的支持检查点

Studio 笔记本

现在,Managed Service for Apache Flink Studio 支持 Apache Flink 1.15。Managed Service for Apache Flink Studio 利用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单一界面开发体验。要详细了解 Managed Service for Apache Flink Studio 以及如何开始使用将 Studio 笔记本 与 Managed Service for Apache Flink结合使用

EFO 连接器

升级到 Managed Service for Apache Flink 版本 1.15 时,请确保使用的是最新的 EFO Connector,即任何版本 1.15.3 或更高版本。有关原因的更多信息,请参阅 FLINK-29324

Scala 解耦

从 Flink 1.15.2 开始,您需要在 Scala 应用程序中捆绑您选择的 Scala 标准库。

Kinesis Data Firehose 接收器

升级到 Managed Service for Apache Flink 版本 1.15 时,请确保使用的是最新的Amazon Kinesis Data Firehose 接收器

Kafka 连接器

升级到 Amazon Managed Service for Apache Flink 1.15 版时,请确保使用的是最新的Amazon Kinesis Data Firehose 接收器。Apache Flink 已经弃用了 FlinkKafkaConsumerFlinkKafkaProducer 这些 Kafka 接收器的 API 无法提交到 Flink 1.15 版的 Kafka。确保您使用的是 KafkaSourceKafkaSink

组件 版本
Java 11(推荐使用)
Scala 2.12
Managed Service for Apache Flink Flink 运行时 (aws-kinesisanalytics-runtime) 1.2.0
AmazonKinesis 连接器 (flink-connector-kinesis) 1.15.4
Apache Beam(仅限 Beam 应用程序) 2.33.0,Jackson 版本 2.12.2