Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
适用于 Apache Flink 的亚马逊托管服务 1.15
适用于 Apache Flink 的托管服务支持 Apache 1.15.2 中的以下新功能:
功能 | 描述 | Apache 参考资料 FLIP |
---|---|---|
异步接收器 | 一个用于构建异步目标的 Amazon 贡献框架,允许开发人员以不到先前一半的工作量来构建自定义 Amazon 连接器。有关更多信息,请参阅通用异步基础接收器 |
FLIP-171:异步接收器 |
Kinesis Data Firehose 接收器 | Amazon 使用异步框架贡献了一个新的 Amazon Kinesis Firehose Sink。 | Amazon Kinesis Data Firehose 接收器 |
停止运行 SavePoint | Stop with Savepoint 可确保干净的停止操作,最重要的是为依赖它们的客户支持一次性语义。 | FLIP-34:使用 SavePoint 终止/暂停 Job |
Scala 解耦 | 用户现在可以利用任何 Scala 版本API的 Java,包括 Scala 3。客户需要将自己选择的 Scala 标准库捆绑到他们的 Scala 应用程序中。 | FLIP-28:长期目标是让 flink-table 没有 Scala |
Scala | 参见上面的 Scala 解耦 | FLIP-28:长期目标是让 flink-table 没有 Scala |
统一连接器指标 | Flink 为任务、任务和运算符定义了标准指标numRestarts 并行fullRestarts 引入。 |
FLIP-33:标准化连接器指标 |
检查已完成的任务 | 此功能在 Flink 1.15 中默认处于启用状态,即使任务图的某些部分已完成所有数据的处理,也可以继续执行检查点,如果它包含有界(批处理)源,则可能会发生这种情况。 | FLIP-147:任务完成后的 Support 检查点 |
针对 Apache Flink 1.15,Amazon Managed Service for Apache Flink 更改
Studio 笔记本
现在,Managed Service for Apache Flink Studio 支持 Apache Flink 1.15。Managed Service for Apache Flink Studio 利用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单一界面开发体验。要详细了解 Managed Service for Apache Flink Studio 以及如何开始使用使用带有 Apache Flink 托管服务的 Studio 笔记本电脑。
EFO连接器
升级到 Apache Flink 版 1.15 的托管服务时,请确保使用的是最新的EFO连接器,即任何版本 1.15.3 或更高版本。有关原因的更多信息,请参阅 FLINK-29324
Scala 解耦
从 Flink 1.15.2 开始,您需要在 Scala 应用程序中捆绑您选择的 Scala 标准库。
Kinesis Data Firehose 接收器
升级到 Managed Service for Apache Flink 版本 1.15 时,请确保使用的是最新的Amazon Kinesis Data Firehose 接收器
Kafka 连接器
升级到适用于 Apache Flink 的 Apache Flink 版 1.15 的亚马逊托管服务时,请确保使用的是最新的 Kafka 连接器。APIsApache Flink 已弃用,These fo FlinkKafkaConsumer
组件
组件 | 版本 |
---|---|
Java | 11(推荐使用) |
Scala | 2.12 |
适用于 Apache 的托管服务 Flink 运行时 () aws-kinesisanalytics-runtime | 1.2.0 |
Amazon Kinesis 连接器 () flink-connector-kinesis |
1.15.4 |
Apache Beam(仅限 Beam 应用程序) |
2.33.0,Jackson 版本 2.12.2 |