Apache Flink 设置 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Flink 设置

Managed Service for Apache Flink 是 Apache Flink 框架的实现。Managed Service for Apache Flink 使用本节中描述的默认值。其中一些值可以由 Apache Flink 应用程序的托管服务在代码中设置,而其他值则无法更改。

使用本节中的链接详细了解 Apache flink 设置以及哪些设置是可以修改的。

Managed Service for Apache Flink 提供了默认 Flink 配置,包括 Apache Flink 为大多数属性推荐的值和一些基于常见应用程序配置文件的推荐值。有关 Flink 配置的更多信息,请参阅 Flink 配置。服务提供的默认配置适用于大多数应用程序。但是,要调整 Flink 配置属性以提高某些具有高并行度、高内存和状态使用率的应用程序的性能,或者在 Apache Flink 中启用新的调试功能,您可以通过请求支持案例来更改某些属性。有关更多信息,请参阅 Amazon 支持中心。您可以使用 Apache Flink 控制面板检查应用程序的当前配置。

状态后端

Managed Service for Apache Flink 将瞬态数据存储在状态后端。适用于 Apache Flink 的托管服务使用 R 后端。ocksDBState调用 setStateBackend 以设置不同的后端无效。

我们在状态后端上启用以下功能:

  • 增量状态后端快照

  • 异步状态后端快照

  • 本地检查点恢复

有关状态后端的更多信息,请参阅 Apache Flink 文档中的状态后端

检查点

Managed Service for Apache Flink使用具有以下值的默认检查点配置。其中一些值可以使用进行更改CheckpointConfiguration。Apache Flink CUSTOM 的托管服务必须设置为CheckpointConfiguration.ConfigurationType,才能使用修改后的检查点值。

设置 是否可以修改? 操作方法 默认值
CheckpointingEnabled 可修改

创建应用程序

更新应用程序

Amazon CloudFormation

True
CheckpointInterval 可修改

创建应用程序

更新应用程序

Amazon CloudFormation

60000
MinPauseBetweenCheckpoints 可修改

创建应用程序

更新应用程序

Amazon CloudFormation

5000
未对齐的检查点 可修改 支持案例 False
并发检查点数 不能修改 不适用 1
检查点模式 不能修改 不适用 恰好一次
检查点保留策略 不能修改 不适用 失败时
检查点超时 不能修改 不适用 60 分钟
保留的最大检查点数 不能修改 不适用 1
检查点和保存点位置 不能修改 不适用 我们将持久的检查点和保存点数据存储到服务拥有的 S3 存储桶中。

保存点

默认情况下,从保存点中还原时,恢复操作尝试将保存点的所有状态映回到用于还原的程序。如果删除了一个操作符,默认情况下,从包含与缺少的操作符对应的数据的保存点中还原将失败。通过将应用程序的AllowNonRestoredState参数设置为,可以允许操作成功trueFlinkRunConfiguration这样,恢复操作就可以跳过无法映射到新程序的状态。

有关更多信息,请参阅 Apache Flink 文档中的 Allowing Non-Restored State(允许未还原状态)。

堆大小

适用于 Apache Flink 的托管服务每分配 3 KPU GiB 的JVM堆,并预留 1 GiB 用于原生代码分配。有关增加应用程序容量的信息,请参阅在 Apache Flink 的托管服务中实现应用程序扩展

有关JVM堆大小的更多信息,请参阅 A pache Flink 文档中的配置

缓冲区消胀

缓冲区消胀可以帮助具有高背压的应用。如果您的应用程序遇到检查点/保存点失败,则启用此功能可能会很有用。为此,请申请支持案例

有关更多信息,请参阅 Apache Flink 文档中的缓冲区消胀机制