使用快照管理应用程序备份 - Managed Service for Apache Flink
自动创建快照从包含不兼容状态数据的快照中还原快照 API 示例
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用快照管理应用程序备份

快照是 Apache Flink 保存点的 Managed Service for Apache Flink 实现。快照是用户或服务触发、创建和管理的应用程序状态备份。有关 Apache Flink 指标的更多信息，请参阅 Apache Flink 文档中的保存点。通过使用快照，您可以从特定的应用程序状态快照中重新启动应用程序。

注意

我们建议您的应用程序每天创建几次快照，以便使用正确的状态数据正确重启。正确的快照频率取决于应用程序的业务逻辑。频繁拍摄快照可以恢复更新的数据，但会增加成本并需要更多的系统资源。

在 Managed Service for Apache Flink 中，您可以使用以下 API 操作管理快照：

有关每个应用程序的快照数限制，请参阅配额。如果应用程序达到快照限制，则手动创建快照将失败并出现 LimitExceededException。

Managed Service for Apache Flink永远不会删除快照。您必须使用 DeleteApplicationSnapshot 操作手动删除快照。

要在启动应用程序时加载已保存的应用程序状态快照，请使用StartApplication或UpdateApplication操作的ApplicationRestoreConfiguration参数。

自动创建快照

如果 SnapshotsEnabled 在 ApplicationSnapshotConfiguration 中设置为 true，则Managed Service for Apache Flink 将在应用程序更新、缩放或停止时自动创建和使用快照，以提供一次性精确的处理语义。

注意

如果将 ApplicationSnapshotConfiguration::SnapshotsEnabled 设置为 false，将导致在应用程序更新期间丢失数据。

注意

Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本，中间保存点不再产生任何不良影响。参见触发保存点

自动创建的快照具有以下特性：

  • 快照由服务管理，但您可以使用 listApplicationSnapshots 操作查看快照。自动创建的快照计入您的快照限制。

  • 如果您的应用程序超过快照限制，手动创建的快照将失败，但是当应用程序更新、扩展或停止时，Managed Service for Apache Flink仍会成功创建快照。在手动创建更多快照之前，必须使用 DeleteApplicationSnapshot 操作手动删除快照。

从包含不兼容状态数据的快照中还原

由于快照包含有关操作符的信息，因此，如果从自上一应用程序版本以来发生变化的操作符的快照中还原状态数据，则可能会出现意外的结果。如果尝试从与当前操作符不对应的快照中还原状态数据，应用程序将会发生故障。发生故障的应用程序将停滞在 STOPPING 或 UPDATING 状态。

要允许应用程序从包含不兼容状态数据的快照中恢复，请使用 更新应用程序 操作将 FlinkRunConfiguration 的 AllowNonRestoredState 参数设置为 true。

从过时的快照中还原应用程序时，您将会看到以下行为：

  • 添加了操作符：如果添加了新操作符，则保存点没有新操作符的状态数据。不会发生故障，也不需要设置 AllowNonRestoredState。

  • 删除了操作符：如果删除了现有操作符，则保存点具有丢失的操作符的状态数据。除非 AllowNonRestoredState 设置为 true，否则，将会发生故障。

  • 修改了操作符：如果进行了兼容的更改，例如将参数的类型更改为兼容的类型，则应用程序可以从过时的快照中还原。有关从快照恢复的更多信息，请参阅 Apache Flink 文档中的保存点。可以从具有不同架构的快照中还原使用 Apache Flink 版本 1.8 或更高版本的应用程序。无法还原使用 Apache Flink 版本 1.6 的应用程序。对于两阶段提交接收器，我们建议使用系统快照 (SW) 而不是用户创建的快照 (创建应用程序 Snapshot)。

    Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本，中间保存点不再产生任何不良影响。参见触发保存点

如果您需要恢复与现有保存点数据不兼容的应用程序，我们建议您将 StartApplication 操作的 ApplicationRestoreType 参数设置为 SKIP_RESTORE_FROM_SNAPSHOT，从而跳过从快照还原的操作。

有关 Apache Flink 如何处理不兼容状态数据的更多信息，请参阅 Apache Flink 文档中的状态架构演变。

快照 API 示例

本节包含将快照与应用程序一起使用的 API 操作的示例请求。有关如何将 JSON 文件用于 API 操作输入的信息，请参阅 Managed Service for Apache Flink API 示例代码。

为应用程序启用快照

UpdateApplication 操作的以下示例请求为应用程序启用快照：

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 1,
   "ApplicationConfigurationUpdate": { 
      "ApplicationSnapshotConfigurationUpdate": { 
         "SnapshotsEnabledUpdate": "true"
       }
    }
}

创建快照

CreateApplicationSnapshot 操作的以下示例请求创建当前应用程序状态的快照：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot"
}

列出应用程序的快照

ListApplicationSnapshots 操作的以下示例请求列出当前应用程序状态的前 50 个快照：

{
   "ApplicationName": "MyApplication",
   "Limit": 50
}

列出应用程序快照的详细信息

DescribeApplicationSnapshot 操作的以下示例请求列出特定应用程序快照的详细信息：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot"
}

删除快照

DeleteApplicationSnapshot 操作的以下示例请求删除以前保存的快照。您可以使用以下任一方法来获取 ListApplicationSnapshots 或 DeleteApplicationSnapshot 的 SnapshotCreationTimestamp 值：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot",
   "SnapshotCreationTimestamp": 12345678901.0,
}

使用命名的快照重新启动应用程序

StartApplication 操作的以下示例请求使用特定快照中保存的状态启动应用程序：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "RESTORE_FROM_CUSTOM_SNAPSHOT",
         "SnapshotName": "MyCustomSnapshot"
      }
   }
}

使用最近的快照重新启动应用程序

StartApplication 操作的以下示例请求使用最近的快照启动应用程序：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
      }
   }
}

不使用快照重新启动应用程序

StartApplication 操作的以下示例请求启动应用程序而不加载应用程序状态，即使具有快照也是如此：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "SKIP_RESTORE_FROM_SNAPSHOT"
      }
   }
}