Apache Flink 设置 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Flink 设置

Apache Flink 的 Kinesis Data Analytics 是 Apache Flink 框架的实施形式。Kinesis Data Analytics 使用本节中所述的默认值。其中一些值可以由 Kinesis Data Analytics 应用程序在代码中设置,但无法更改其他值。

Kinesis Data Analytics 提供了默认的 Flink 配置,其中包括 Apache Flink 推荐的大多数属性值以及一些基于常见应用程序配置文件的值。有关 Flink 配置的更多信息,请参阅配置. 服务提供的默认配置适用于大多数应用。但是,如果您需要调整 Flink 配置属性以提高某些具有高并行度、内存和状态使用率高的应用程序的性能,或者在 Apache Flink 中启用新的调试功能,则可以通过请求支持案例来更改某些属性。有关更多信息,请参阅 Amazon 支持中心。您可以使用Apache Flink 控制面板.

状态后端

Kinesis Data Analytics 将临时数据存储在状态后端中。Kinesis Data Analytics 使用RockSDBStateBackend. 调用 setStateBackend 以设置不同的后端无效。

我们在状态后端上启用以下功能:

  • 增量状态后端快照

  • 异步状态后端快照

  • 本地检查点恢复

在 Kinesis Data Analytics 中,state.backend.rocksdb.ttl.compaction.filter.enabled默认情况下,配置已启用。通过使用该筛选条件,您可以更新应用程序代码以启用压缩清理策略。有关更多信息,请参阅 。Flink 中的州 TTL中的Apache Flink 文档.

有关状态后端的更多信息,请参阅状态后端中的Apache Flink 文档.

检查点

Apache Flink 的 Kinesis Data Analytics 使用具有以下值的默认检查点配置。可以更改其中的一些值。你必须设置CheckpointConfiguration.ConfigurationTypeCUSTOM为 Kinesis Data Analytics 使用修改的检查点值。

设置 是否可以修改? 默认值
CheckpointingEnabled 可修改 True
CheckpointInterval 可修改 60000
MinPauseBetweenCheckpoints 可修改 5000
并发检查点数 不能修改 1
检查点模式 不能修改 恰好一次
检查点保留策略 不能修改 失败时
检查点超时 不能修改 60 分钟
保留的最大检查点数 不能修改 1
重新启动策略 不能修改 固定延迟,每 10 秒无限次重试。
检查点和保存点位置 不能修改 我们将持久的检查点和保存点数据存储到服务拥有的 S3 存储桶中。
状态后端内存阈值 不能修改 1048576

保存点

默认情况下,从保存点中还原时,恢复操作尝试将保存点的所有状态映回到用于还原的程序。如果删除了一个操作符,默认情况下,从包含与缺少的操作符对应的数据的保存点中还原将失败。您可以通过设置AllowNonRestoredState应用程序的参数FlinkRun配置true. 这样,恢复操作就可以跳过无法映射到新程序的状态。

有关更多信息,请参阅 。允许未恢复状态中的Apache Flink 文档.

堆大小

Kinesis Data Analytics 为每个 KPU 分配 3 GiB JVM 堆,并为本机代码分配保留 1 GiB。有关增加应用程序容量的信息,请参阅Apache Flink 的 Kinesis Data Analytics

有关 JVM 堆大小的更多信息,请参阅配置中的Apache Flink 文档.