Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Apache Flink 设置
Managed Service for Apache Flink 是 Apache Flink 框架的实现。Managed Service for Apache Flink 使用本节中描述的默认值。其中一些值可以由 Apache Flink 应用程序的托管服务在代码中设置,而其他值则无法更改。
使用本节中的链接详细了解 Apache flink 设置以及哪些设置是可以修改的。
Apache Flink 配置
Managed Service for Apache Flink 提供了默认 Flink 配置,包括 Apache Flink 为大多数属性推荐的值和一些基于常见应用程序配置文件的推荐值。有关 Flink 配置的更多信息,请参阅 Flink 配置
状态后端
Managed Service for Apache Flink 将瞬态数据存储在状态后端。适用于 Apache Flink 的托管服务使用 R 后端。ocksDBState调用 setStateBackend
以设置不同的后端无效。
我们在状态后端上启用以下功能:
增量状态后端快照
异步状态后端快照
本地检查点恢复
有关状态后端的更多信息,请参阅 Apache Flink 文档中的状态后端
检查点
Managed Service for Apache Flink使用具有以下值的默认检查点配置。其中一些值可以使用进行更改CheckpointConfiguration。Apache Flink CUSTOM
的托管服务必须设置为CheckpointConfiguration.ConfigurationType
,才能使用修改后的检查点值。
设置 | 是否可以修改? | 操作方法 | 默认值 |
---|---|---|---|
CheckpointingEnabled | 可修改 | True | |
CheckpointInterval | 可修改 | 60000 | |
MinPauseBetweenCheckpoints | 可修改 | 5000 | |
未对齐的检查点 | 可修改 | 支持案例 |
False |
并发检查点数 | 不能修改 | 不适用 | 1 |
检查点模式 | 不能修改 | 不适用 | 恰好一次 |
检查点保留策略 | 不能修改 | 不适用 | 失败时 |
检查点超时 | 不能修改 | 不适用 | 60 分钟 |
保留的最大检查点数 | 不能修改 | 不适用 | 1 |
检查点和保存点位置 | 不能修改 | 不适用 | 我们将持久的检查点和保存点数据存储到服务拥有的 S3 存储桶中。 |
保存点
默认情况下,从保存点中还原时,恢复操作尝试将保存点的所有状态映回到用于还原的程序。如果删除了一个操作符,默认情况下,从包含与缺少的操作符对应的数据的保存点中还原将失败。通过将应用程序的AllowNonRestoredState参数设置为,可以允许操作成功true
。FlinkRunConfiguration这样,恢复操作就可以跳过无法映射到新程序的状态。
有关更多信息,请参阅 Apache Flink 文档
堆大小
适用于 Apache Flink 的托管服务每分配 3 KPU GiB 的JVM堆,并预留 1 GiB 用于原生代码分配。有关增加应用程序容量的信息,请参阅在 Apache Flink 的托管服务中实现应用程序扩展。
有关JVM堆大小的更多信息,请参阅 A pache Flink 文档
缓冲区消胀
缓冲区消胀可以帮助具有高背压的应用。如果您的应用程序遇到检查点/保存点失败,则启用此功能可能会很有用。为此,请申请支持案例
有关更多信息,请参阅 Apache Flink 文档