Amazon Kinesis Data Streams 源在重新分片期间处理失序 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。

Amazon Kinesis Data Streams 源在重新分片期间处理失序

当前的 FlinkKinesisConsumer 实现并未在 Kinesis 分片之间提供强大的排序保证。在对 Kinesis Stream 进行重新分片期间,这可能会导致处理失序,对于遇到处理延迟的 Flink 应用程序尤其如此。在某些情况下,例如基于事件时间的窗口运算符,事件可能会因为由此产生的延迟而被丢弃。

Diagram showing shards and shard consumers with time progression and trim horizon.

这是开源 Flink 中的一个已知问题。在连接器修复可用之前,请确保您的 Flink 应用程序在重新分区期间不会落后于 Kinesis Data Streams。通过确保 Flink 应用程序能够容忍处理延迟,您可以最大限度地减少失序处理的影响和数据丢失的风险。