View a markdown version of this page

使用快照管理应用程序备份 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用快照管理应用程序备份

一个 快照 是 Apache Flink 应用程序托管服务状态的备份。每个快照都是一个 Apache Flink 保存点。有关更多信息,请参阅 保存积分 在 Apache Flink 文档中。

从快照还原应用程序,以从保存的状态恢复处理。

注意

我们建议您的应用程序每天创建几次快照,以便使用正确的状态数据正确重启。正确的快照频率取决于应用程序的业务逻辑。频繁拍摄快照可让您恢复更新的数据,但会增加成本并需要更多的系统资源。

Apache 托管服务 Flink 支持两种类型的快照:

  • 增强的快照 — 增强型快照是 Amazon 具有自己的亚马逊资源名称 (ARN) 的资源。增强型快照独立于创建它的应用程序而存在。

    您可以将增强型快照还原到同一账户和区域中处于增强快照模式的任何应用程序中。有关条件,请参见 从增强型快照还原应用程序。

    您还可以将增强快照导出到 Amazon S3,然后从 Amazon S3 导入一个增强快照。

    增强型快照需要 Apache Flink 版本 1.20 或更高版本。

  • 应用程序快照(旧版) — 应用程序快照属于创建它的应用程序。只有该应用程序可以从中恢复。

应用程序一次使用一种快照类型。默认情况下,新应用程序使用应用程序快照。要使用增强型快照,请在中创建应用程序 增强的快照模式,或者将现有应用程序升级到增强快照模式。

注意

升级到增强快照模式后,应用程序将保持增强快照模式。要恢复应用程序快照(旧版),请在升级之前回滚到该版本。只有在升级后未更新应用程序时,才可以回滚。有关回滚的更多信息,请参阅升级后回滚。

使用以下主题使用增强型快照:

应用程序快照(旧版)

您可以使用以下 API 操作管理应用程序快照:

升级到增强快照模式后,这些规则适用于应用程序的应用程序快照(旧版):

  • ListApplicationSnapshots, DescribeApplicationSnapshot,以及 DeleteApplicationSnapshot 适用于现有的应用程序快照。

  • CreateApplicationSnapshot 返回 InvalidApplicationConfigurationException。请改用 CreateSnapshot。

有关应用程序快照的配额(旧版),请参阅 Managed Service for Apache Flink 与 Studio 笔记本配额。如果应用程序达到快照限制,则手动创建快照将失败并出现 LimitExceededException。

当应用程序存在时,Apache Flink 托管服务不会删除其应用程序快照(旧版)。要删除一个,请使用 DeleteApplicationSnapshot 行动。删除应用程序时,Apache Flink 托管服务还会删除其应用程序快照(旧版)。 DeleteApplication 不删除增强型快照。

要在启动应用程序时加载已保存的应用程序状态快照,请使用 StartApplication 或 UpdateApplication 操作的 ApplicationRestoreConfiguration 参数。

系统快照

一个 系统快照 是 Apache Flink 托管服务在更新或停止应用程序时创建的快照。根据快照类型,其他应用程序操作也会创建系统快照,如本节所列。应用程序使用系统快照来保持精确处理一次。

要为任一快照类型开启系统快照,请设置 SnapshotsEnabled 到 true 在 ApplicationSnapshotConfiguration 用于应用程序。

创建系统快照的操作取决于应用程序是使用增强快照模式还是应用程序快照(旧版):

  • 增强的快照模式 — Apache 托管服务 Flink 会在您更新或停止系统时创建系统快照 RUNNING 应用程序。Apache Flink 托管服务在您添加或删除 Amazon VPC 设置时也会创建一个 RUNNING 应用程序。当你添加或删除一个时,这同样适用 CloudWatch 记录选项。停下来 Force 设置为 true 不创建系统快照。有关亚马逊 VPC 设置,请参阅 配置 Managed Service for Apache Flink,以访问 Amazon VPC 中的资源。

  • 应用程序快照(旧版) — Apache Flink 托管服务会在您更新、扩展或停止应用程序时创建系统快照。

注意

如果你设置 SnapshotsEnabled 到 false,应用程序更新会丢弃应用程序状态数据。

注意

Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本,中间保存点不再产生任何不良影响。参见触发保存点。

在增强快照模式下,系统快照具有以下属性:

  • 每个系统快照都是具有自己的 ARN 的增强型快照。

  • Apache 托管服务 Flink 为每个系统快照命名 SYSTEMSNAPSHOT-OPERATION-ApplicationName-Timestamp。时间戳是自 Unix 时代以来的创建时间,以毫秒为单位。

  • 要列出系统快照,请致电 ListSnapshots 和 SnapshotInitiator 设置为 SYSTEM。

对于应用程序快照(旧版),系统快照具有以下属性:

  • Apache Flink 的托管服务管理系统快照。要查看系统快照,请使用 ListApplicationSnapshots 行动。系统快照计入您的快照限制。

  • 如果您的应用程序达到快照限制,则您创建的快照将失败。当您更新、扩展或停止应用程序时,Apache Flink 托管服务仍会创建系统快照。

    要创建更多快照,请先使用以下命令删除快照 DeleteApplicationSnapshot 行动。

从包含不兼容状态数据的快照中还原

快照包含每个操作员的状态数据。如果操作员在先前的应用程序版本之后发生变化,则恢复其状态数据可能会产生意想不到的结果。如果应用程序恢复的状态数据与当前运算符不匹配,则会出现故障。出现故障的应用程序将保留在 STARTING 要么 UPDATING 状态。

本节中的指南适用于增强型快照和应用程序快照(旧版)。这个 ApplicationRestoreConfiguration 参数以不同的方式标识每种类型:

  • 要从增强型快照中恢复,请设置 SnapshotArn。

  • 要从应用程序快照(旧版)中恢复,请设置 SnapshotName。此页面上的示例使用此表单。

有关更多信息,请参阅 从增强型快照还原应用程序。

您可以从其他应用程序创建的增强快照中恢复应用程序。在还原之前,请确认快照状态与目标应用程序中的操作员兼容。目标应用程序必须与增强型快照位于同一个账户和区域中。有关其他条件,请参见 恢复到其他应用程序。

要从包含不兼容状态数据的快照中恢复,请设置 AllowNonRestoredState 到 true。将此参数设置为 FlinkRunConfiguration 带有 UpdateApplication 行动。

从较早的应用程序版本创建的快照中恢复会产生以下结果:

  • 已添加操作员 — 保存点没有新操作员的状态数据。应用程序不会出错,即使 AllowNonRestoredState 是 false。

  • 操作员已删除 — 保存点包含已删除操作员的状态数据。应用程序出现故障,除非 AllowNonRestoredState 是 true。

  • 操作员已修改 — 如果您对操作员进行了兼容性更改,则应用程序可以从快照中恢复。一个例子是将参数类型更改为兼容类型。有关从快照恢复的更多信息,请参阅 Apache Flink 文档中的保存点。使用 Apache Flink 1.8 或更高版本的应用程序可能会从具有不同架构的快照中恢复。使用 Apache Flink 版本 1.6 的应用程序无法从这样的快照中恢复。对于两阶段提交接收器,我们建议使用系统快照而不是您创建的快照 CreateApplicationSnapshot 要么 CreateSnapshot。

    Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本,中间保存点不再产生任何不良影响。参见触发保存点

要恢复与现有 Savepoint 数据不兼容的应用程序,建议您跳过还原操作。设置 ApplicationRestoreType 的参数 StartApplication 采取行动 SKIP_RESTORE_FROM_SNAPSHOT。

有关 Apache Flink 如何处理不兼容状态数据的更多信息,请参阅 Apache Flink 文档中的状态架构演变。

查看快照 API 示例

本节中的每个示例都显示了对应用程序快照的请求(旧版)。在 API 不同的地方,该示例还显示了对增强快照的等效请求。有关更多增强型快照示例及其响应,请参阅 增强的快照 API 示例。

本节包含将快照与应用程序一起使用的 API 操作的示例请求。有关如何将 JSON 文件用于 API 操作输入的信息,请参阅 Managed Service for Apache Flink API 示例代码。

启用系统快照

UpdateApplication 操作的以下示例请求为应用程序启用快照:

{ "ApplicationName": "MyApplication", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationSnapshotConfigurationUpdate": { "SnapshotsEnabledUpdate": true } } }

SnapshotsEnabledUpdate 为应用程序开启系统快照。一样 ApplicationSnapshotConfigurationUpdate 对象也接受 SnapshotModeUpdate。要升级到增强快照模式,请参阅 将现有应用程序升级为增强型快照。

以下示例请求将应用程序升级到增强快照模式。请求集 SnapshotModeUpdate 和 SnapshotsEnabledUpdate 一起。有关回滚应用程序快照(旧版)的限制,请参阅 升级后回滚。

{ "ApplicationName": "MyApplication", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationSnapshotConfigurationUpdate": { "SnapshotsEnabledUpdate": true, "SnapshotModeUpdate": "ENHANCED_SNAPSHOTS" } } }

创建快照

CreateApplicationSnapshot 操作的以下示例请求创建当前应用程序状态的快照:

{ "ApplicationName": "MyApplication", "SnapshotName": "MyCustomSnapshot" }

对于处于增强快照模式的应用程序,请使用 CreateSnapshot 行动。以下示例请求为正在运行的应用程序创建增强快照:

{ "ApplicationName": "MyApplication", "SnapshotName": "MyApplication-snapshot-1", "SnapshotDescription": "Before code update" }

列出快照

ListApplicationSnapshots 操作的以下示例请求列出当前应用程序状态的前 50 个快照:

{ "ApplicationName": "MyApplication", "Limit": 50 }

要获得增强的快照,请使用 ListSnapshots 行动。以下示例请求列出了账户和区域中的前 50 张增强型快照。要列出一个应用程序的增强快照,请添加可选 SourceApplicationName 过滤。

{ "Limit": 50 }

描述快照

DescribeApplicationSnapshot 操作的以下示例请求列出特定应用程序快照的详细信息:

{ "ApplicationName": "MyApplication", "SnapshotName": "MyCustomSnapshot" }

要获得增强型快照,请使用 DescribeSnapshot 行动。该请求仅按名称识别增强型快照,因为该名称在账户和区域中是唯一的:

{ "SnapshotName": "MyApplication-snapshot-1" }

删除快照

DeleteApplicationSnapshot 操作的以下示例请求删除以前保存的快照。您可以使用以下任一方法来获取 ListApplicationSnapshots 或 DescribeApplicationSnapshot 的 SnapshotCreationTimestamp 值:

{ "ApplicationName": "MyApplication", "SnapshotName": "MyCustomSnapshot", "SnapshotCreationTimestamp": 12345678901.0 }

要获得增强型快照,请使用 DeleteSnapshot 行动。复制 SnapshotCreationTimestamp 的价值来自 DescribeSnapshot 回应:

{ "SnapshotName": "MyApplication-snapshot-1", "SnapshotCreationTimestamp": 1767225600 }

从特定快照重新启动应用程序

StartApplication 操作的以下示例请求使用特定快照中保存的状态启动应用程序:

{ "ApplicationName": "MyApplication", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_CUSTOM_SNAPSHOT", "SnapshotName": "MyCustomSnapshot" } } }

对于处于增强快照模式的应用程序,使用以下命令标识增强快照 SnapshotArn,不是 SnapshotName。来电者需要 kinesisanalytics:RestoreFromSnapshot 在增强版快照上。有关更多信息,请参阅 从增强型快照还原应用程序。

{ "ApplicationName": "MyApplication", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_CUSTOM_SNAPSHOT", "SnapshotArn": "arn:aws:kinesisanalytics:aa-example-1:111122223333:snapshot/MyApplication-snapshot-1" } } }

从最新的快照重新启动应用程序

StartApplication 操作的以下示例请求使用最近的快照启动应用程序:

{ "ApplicationName": "MyApplication", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }

相同的请求适用于增强型快照模式。在该模式下,Apache Flink 的托管服务将在中恢复最新的增强快照 READY 应用程序创建的状态。有关更多信息,请参阅 从最新的快照中恢复。

在没有快照的情况下重新启动应用程序

StartApplication 操作的以下示例请求启动应用程序而不加载应用程序状态,即使具有快照也是如此:

{ "ApplicationName": "MyApplication", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "SKIP_RESTORE_FROM_SNAPSHOT" } } }

相同的请求适用于增强型快照模式。