本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Kinesis Data Analytics for Amazics for
Kinesis Data Analytics 支持 Apache 1.15.2 中的以下新功能
功能 | 描述 | Apache FLIP 参考 |
---|---|---|
异步接收器 | 一个用于构建异步目的地的Amazon贡献框架,允许开发人员以不到之前工作量的一半来构建自定义Amazon连接器。有关更多信息,请参阅通用异步基础接收器 |
FLIP-171:Async Sink |
Kinesis Data Firehos | Amazon使用 Async 框架贡献了一个新的亚马逊 Kinesis Firehose Sink。 | Amazon Kinesis Data Firehos |
停止使用 Savepoint | Stop with Savepoint 可确保彻底停止操作,最重要的是为依赖它们的客户提供一次性语义支持。 | FLIP-34:使用保存点终止/暂停Job |
Scala 去耦器 | 用户现在可以利用任何 Scala 版本的 Java API,包括 Scala 3。客户需要在他们的 Scala 应用程序中捆绑他们选择的 Scala 标准库。 | FLIP-28:长期目标是让 flink-table 不使用 Scala |
统一连接器指标 | Flink 为任务、任务和操作员定义了标准指标numRestarts 中parallelfullRestarts 引入可用性指标。 |
FLIP-33:标准化连接器指标 |
通过通过检查点检验已完成任务 | 此功能在 Flink 1.15 中默认启用,即使任务图的某些部分已完成所有数据的处理,也可以继续执行检查点,如果它包含有界(批处理)源,则可能会发生这种情况。 | FLIP-147:任务完成后Support 检查点 |
Amazon Kinesis Data Analytics 中发生了变化
Kinesis 连接器
如果应用程序使用不支持的 Kinesis Connector 版本(捆绑到应用程序 JAR 中),则适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 将自动阻止应用程序启动或更新。升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Kinesis Connector。
这适用于任何版本 1.15.2 或更高版本。Kinesis Data Analytics for Apache Flink 将不支持所有其他版本,因为它们可能会导致一致性问题或该
Stop with Savepoint
功能失败,从而阻止干净的停止/更新操作。
EFO 连接器
升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 EFO Connector,即任何版本 1.15.3 或更高版本。有关原因的更多信息,请参阅 FLINK-29324
Scala 去耦合
从 Flink 1.15.2 开始,你需要在你的 Scala 应用程序中捆绑你选择的 Scala 标准库。
Kinesis Data Firehos
升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Amazon Kinesis Data Firehose Sink
Kafka 连接器
升级到适用于 Apache FlAmazon Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Kafka 连接器 API。Apache Flink 已经过时 FlinkKafkaConsumer
组件
组件 | 版本 |
---|---|
Java | 11(推荐) |
Scala | 2.12 |
Kinesis Data Analytics Flink 运行时 (aws-kinesisanalytics-runtime) | 1.2.0 |
AmazonKinesis 连接器 (flink-connector-kinesis) |
1.15.2 |
Apache Beam(仅限 Beam 应用程序 |
2.33.0,以 Jackson 版本 2.12.2 |
已知问题
异步接收器性能
众所周知,在高负载场景下,1.15 的 AsyncSink 性能与传统 sink 相比有所下降,尤其是在分片数量较多(64 或更多)的情况下。其他影响因素包括更大的负载大小和更高的并行度应用程序。
Kinesis Data Analytics 工作室
Studio 利用 Apache Zeppelin 笔记本电脑为开发、调试代码和运行 Apache Flink 流处理应用程序提供单接口开发体验。齐柏林飞艇的 Flink 解释器需要升级才能支持 Flink 1.15。这项工作是由 Zeppelin 社区安排的,我们将在完成后更新这些笔记。您可以继续使用 Studio 中以 Kinesis Data Analytics 为源使用。