Amazon Kinesis Data Analytics 中的弹性适用于 Apache Flink - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Analytics 中的弹性适用于 Apache Flink

Amazon全球基础设施围绕Amazon区域和可用区构建。Amazon区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。

有关 Amazon 区域和可用区的更多信息,请参阅 Amazon 全球基础设施

除了Amazon针对 Apache Flink 的 Kinesis Data Analytics 提供了多种功能,以帮助支持您的数据弹性和备份需求。

灾难恢复

Kinesis Data Analytics 以无服务器模式运行,并执行自动迁移以处理主机性能下降、可用区可用性和其他基础设施相关问题。Kinesis Data Analytics 通过多种冗余机制实现这一目标。每个使用 Apache Flink 的 Kinesis Data Analytics 应用程序在单租户 Apache Flink 集群中运行。Apache Flink 集群使用 JobMananger 在高可用性模式下,跨多个可用区使用 Zookeeper。Kinesis Data Analytics 使用亚马逊 EKS 部署 Apache Flink。Amazon EKS 中每个 Pod 都使用多个 Kubernetes PodAmazon跨可用区域的区域。如果发生故障,Kinesis Data Analytics 先尝试使用应用程序的检查点(如果可用)在运行的 Apache Flink 集群中恢复应用程序。

使用 Apache Flink 使用 Kinesis Data Analytics Flink 备份应用程序状态检查点快照

  • 检查点是应用程序状态备份,Kinesis Data Analytics 会自动定期创建并用于从故障中还原。

  • 快照 是您手动创建的应用程序状态备份,可以从这些备份中进行还原。

有关检查点和快照的更多信息,请参阅容错能力

版本控制

存储的应用程序状态版本按如下方式进行版本控制:

  • 该服务自动对检查点 进行版本控制。如果该服务使用检查点重新启动应用程序,则会使用最新的检查点。

  • 保存积分是使用SnapshotName的参数CreateApplicationSnapshotaction.

Kinesis Data Analytics 加密存储在检查点和保存点中的数据。