Amazon Kinesis Data Analytics for Amazics for - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Analytics for Amazics for

Kinesis Data Analytics 支持 Apache 1.15.2 中的以下新功能

功能 描述 Apache FLIP 参考
异步接收器 一个用于构建异步目的地的Amazon贡献框架,允许开发人员以不到之前工作量的一半来构建自定义Amazon连接器。有关更多信息,请参阅通用异步基础接收器 FLIP-171:Async Sink
Kinesis Data Firehos Amazon使用 Async 框架贡献了一个新的亚马逊 Kinesis Firehose Sink。 Amazon Kinesis Data Firehos
停止使用 Savepoint Stop with Savepoint 可确保彻底停止操作,最重要的是为依赖它们的客户提供一次性语义支持。 FLIP-34:使用保存点终止/暂停Job
Scala 去耦器 用户现在可以利用任何 Scala 版本的 Java API,包括 Scala 3。客户需要在他们的 Scala 应用程序中捆绑他们选择的 Scala 标准库。 FLIP-28:长期目标是让 flink-table 不使用 Scala
统一连接器指标 Flink 为任务、任务和操作员定义了标准指标。Kinesis Data Analytics将继续支持汇流和源指标,并在1.15numRestarts 中parallelfullRestarts 引入可用性指标。 FLIP-33:标准化连接器指标FLIP-179:公开标准化操作员指标
通过通过检查点检验已完成任务 此功能在 Flink 1.15 中默认启用,即使任务图的某些部分已完成所有数据的处理,也可以继续执行检查点,如果它包含有界(批处理)源,则可能会发生这种情况。 FLIP-147:任务完成后Support 检查点

Kinesis 连接器

  • 如果应用程序使用不支持的 Kinesis Connector 版本(捆绑到应用程序 JAR 中),则适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 将自动阻止应用程序启动或更新。升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Kinesis Connector。

  • 这适用于任何版本 1.15.2 或更高版本。Kinesis Data Analytics for Apache Flink 将不支持所有其他版本,因为它们可能会导致一致性问题或该Stop with Savepoint功能失败,从而阻止干净的停止/更新操作。

EFO 连接器

升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 EFO Connector,即任何版本 1.15.3 或更高版本。有关原因的更多信息,请参阅 FLINK-29324

Scala 去耦合

从 Flink 1.15.2 开始,你需要在你的 Scala 应用程序中捆绑你选择的 Scala 标准库。

Kinesis Data Firehos

升级到适用于 Apache Flink 的 Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Amazon Kinesis Data Firehose Sink

Kafka 连接器

升级到适用于 Apache FlAmazon Kinesis Data Analytics 版本 1.15 时,请确保你使用的是最新的 Kafka 连接器 API。Apache Flink 已经过时 FlinkKafkaConsumerFlinkKafkaProducer这些 Kafka sink 的 API 无法提交到 Flink 1.15 版的 Kafka。确保您正在使用KafkaSourceKafkaSink

组件 版本
Java 11(推荐)
Scala 2.12
Kinesis Data Analytics Flink 运行时 (aws-kinesisanalytics-runtime) 1.2.0
AmazonKinesis 连接器 (flink-connector-kinesis) 1.15.2
Apache Beam(仅限 Beam 应用程序 2.33.0,以 Jackson 版本 2.12.2

异步接收器性能

众所周知,在高负载场景下,1.15 的 AsyncSink 性能与传统 sink 相比有所下降,尤其是在分片数量较多(64 或更多)的情况下。其他影响因素包括更大的负载大小和更高的并行度应用程序。

Kinesis Data Analytics 工作室

Studio 利用 Apache Zeppelin 笔记本电脑为开发、调试代码和运行 Apache Flink 流处理应用程序提供单接口开发体验。齐柏林飞艇的 Flink 解释器需要升级才能支持 Flink 1.15。这项工作是由 Zeppelin 社区安排的,我们将在完成后更新这些笔记。您可以继续使用 Studio 中以 Kinesis Data Analytics 为源使用