AWS Storage Gateway
User Guide (API 版本 2013-06-30)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

AWS Storage Gateway 的工作原理 (架构)

在下面,您可以找到可用的 AWS Storage Gateway 解决方案的架构概述。

文件网关

要使用文件网关存储,请首先下载文件存储网关的 VM 映像。然后,从 AWS 管理控制台或 Storage Gateway API 激活它。

在激活 VM 之后,您可以配置网关稍后通过 NFS v3 或 v4.1 作为文件系统公开的 S3 存储桶。写入到 NFS 的文件成为 Amazon S3 中的对象,使用路径作为键。文件与对象之间存在一对一的映射,在您更改文件时,网关会异步更新 Amazon S3 中的对象。存储桶中的现有对象显示为文件系统中的文件,而键成为路径。通过使用 Amazon S3 托管加密密钥的服务器端加密 (SSE-S3) 对对象进行了加密。所有数据传输都是通过 HTTPS 完成的。

该服务使用分段并行上传或字节范围下载,优化了网关与 AWS 之间的数据传输,以更好地使用可用带宽。与缓存卷一样,系统维护本地缓存以提供对最近访问数据的低延迟访问,并减少数据传出成本。CloudWatch 指标提供对 VM 上资源使用情况以及与 AWS 之间的数据传输的深入见解。CloudTrail 跟踪所有 API 调用。

利用文件网关存储,您可以执行多个任务,例如将云工作负载注入 S3、执行备份和存档以及分层存储到 AWS 云。下图概述了 Storage Gateway 的文件存储部署。

卷网关

对于卷网关,您可以使用缓存卷或存储卷。

缓存卷架构

通过使用缓存卷,您可以将 Amazon S3 用作主要数据存储,同时将经常访问的数据保留在本地的存储网关中。缓存卷可帮助您尽量避免扩展内部存储基础设施,同时为您的应用程序提供对其常用数据的低延迟访问。您可以创建容量高达 32 TiB 的存储卷,并从本地应用程序服务器将其附加为 iSCSI 设备。网关将写入这些卷中的数据存储在 Amazon S3 中,并将最近读取的数据保留在本地 Storage Gateway 的缓存和上传缓冲区存储中。

缓存卷的大小范围可以是 1 GiB 到 32 TiB,并且必须四舍五入到最接近的 GiB 值。为缓存卷配置的每个网关可以支持最多 32 个卷,总的最大存储卷大小为 1024 TiB (1 PiB)。

在缓存卷解决方案中,AWS Storage Gateway 将所有本地应用程序数据保存在 Amazon S3 的存储卷中。以下示意图提供了缓存卷部署的概览。

在数据中心的主机上安装并激活 Storage Gateway 软件设备 (VM) 后,您可以使用 AWS 管理控制台预配置 Amazon S3 支持的存储卷。您还可以使用 AWS Storage Gateway API 或 AWS SDK 库以编程方式预配置存储卷。您然后将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。

您还在场内为该 VM 分配磁盘。这些场内磁盘服务于下列目的:

  • 供网关用作缓存存储的磁盘 – 在您的应用程序向 AWS 中的存储卷写入数据时,网关会首先将数据存储在用于缓存存储的本地磁盘上。然后网关将数据上传到 Amazon S3。缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储器。

    缓存存储空间还让您的网关能够在本地存储您的应用程序的最近访问数据,以实现低延迟访问。如果您的应用程序请求数据,网关在检查 Amazon S3 前会先检查缓存存储空间中的数据。

    您可以使用以下准则确定可以为缓存存储空间分配的磁盘空间量。通常,您应该至少分配现有文件存储大小的 20% 作为缓存存储空间。缓存存储空间还应该大于上传缓冲区。此指南帮助确保缓存存储空间具有足够的大小来持续承载上传缓冲区中尚未上传到 Amazon S3 的所有数据。

  • 网关用作上传缓冲区的磁盘 - 为了做好上传到 Amazon S3 的准备,您的网关还会将传入数据存储在一个暂存区域中 (称为上传缓冲区)。您的网关会通过加密的安全套接字层 (SSL) 连接将此缓冲区数据上传到 AWS,然后以加密形式存储在 Amazon S3 中。

您可以在 Amazon S3 中对存储卷拍摄增量备份 (称为“快照”)。这些时间点快照也以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会移除其他任何快照不需要的数据。有关 Amazon EBS 快照的信息,请参阅 Amazon EBS 快照

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为网关存储卷。另外,对于大小约为 16 TiB 的快照,可以将快照用作新的 Amazon EBS 卷的起点。然后,您可以将这个新的 Amazon EBS 卷附加到 Amazon EC2 实例。

缓存卷的所有网关数据和快照数据均存储在 Amazon S3 中,并使用服务器端加密 (SSE) 进行静态加密。不过,您不能使用 Amazon S3 API 或借助 Amazon S3 管理控制台等其他工具访问这些数据。

存储卷架构

通过使用存储卷,您可以将主要数据存储在本地,同时将该数据异步备份到 AWS。存储卷为您的本地应用程序提供对整个数据集的低延迟访问。同时,它们可提供持久的场外备份。您可以创建存储卷,并从本地应用程序服务器将它们作为 iSCSI 设备挂载。写入到您的存储卷的数据保存在本地存储硬件中。此数据作为 Amazon Elastic Block Store (Amazon EBS) 快照异步备份到 Amazon S3。

存储卷的大小范围可以是 1 GiB 到 16 TiB,并且必须四舍五入到最接近的 GiB 值。为存储卷配置的每个网关可以支持最多 32 个卷、总共 512 TiB (0.5 PiB) 的卷存储。

使用存储卷,您可在数据中心本地维护卷存储。亦即,您将所有的应用程序场内保存在存储硬件中。然后,借助可帮助保持数据安全性的功能,网关将数据上传到 AWS 云,从而实现经济高效的备份和快速灾难恢复。如果您希望将数据本地保存在场内,这就是个理想的解决方案,因为您需要对所有数据的低延迟访问并在 AWS 中维护备份。

下图概述了存储卷的部署情况。

在数据中心的主机上安装并激活 AWS Storage Gateway 软件设备 (VM) 后,您可以创建网关存储卷。然后将它们映射到本地直连式存储 (DAS) 或存储区域网络 (SAN) 磁盘。您可以从新磁盘或已存有数据的磁盘开始着手。您然后可以将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。场内应用程序从/向网关存储卷读写数据的同时,这些数据从卷的已分配磁盘存储并检索。

为了做好将数据上传到 Amazon S3 的准备,网关还将传入数据保存在称为“上传缓冲区”的暂存区域中。您可以将场内 DAS 或 SAN 磁盘用作工作存储空间。您的网关通过加密的安全套接字层 (SSL) 连接,将数据从上传缓冲区上传到在 AWS 云中运行的 AWS Storage Gateway 服务。该服务随后将数据加密存储在 Amazon S3 中。

您可以对存储卷拍摄增量备份,亦即快照。 网关将这些快照以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会删除其他快照都不需要的数据。

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为本地网关存储卷。您还可以将这些快照用作新 Amazon EBS 卷的起点,并可在随后将卷连接到 Amazon EC2 实例。

磁带网关

磁带网关提供了一种经济高效的持久解决方案,可用于在 AWS 云中对数据进行存档。利用虚拟磁带库 (VTL) 接口,您可以使用现有的基于磁带的备份基础设施,将数据存储到您在磁带网关上创建的虚拟磁带盒。每个磁带网关预配置了介质更换器和磁带驱动器。这些可作为 iSCSI 设备用于您的现有客户端备份应用程序。根据需要添加磁带盒以存档数据。

下图概述了磁带网关的部署情况。

该图标识了下列磁带网关组件:

  • 虚拟磁带 – 虚拟磁带类似于物理磁带盒。但是,虚拟磁带数据存储在 AWS 云中。与物理磁带一样,虚拟磁带可以为空,也可以将数据写入到其中。您可以通过使用 Storage Gateway 控制台创建虚拟磁带,也可以借助 Storage Gateway API 以编程方式创建虚拟磁带。每个网关一次可包含最多 1500 个磁带或最多 1 PiB 总磁带数据。每个虚拟磁带的大小 (可在创建磁带时进行配置) 介于 100 GiB 和 2.5 TiB 之间。

  • 虚拟磁带库 (VTL) – VTL 类似于带机械臂和磁带驱动器的本地可用的物理磁带库。您的 VTL 包括存储的虚拟磁带的集合。每个磁带网关均附带了一个 VTL。

    您创建的虚拟磁带将显示在网关的 VTL 中。VTL 中的磁带由 Amazon S3 进行备份。当备份软件将数据写入网关时,该网关会将数据存储在本地,然后以异步方式将数据上传到 VTL 中的虚拟磁带 (即 Amazon S3) 中。

    • 磁带驱动器 - VTL 磁带驱动器类似于可对磁带执行 I/O 和搜索操作的物理磁带驱动器。每个 VTL 均附带一组磁带驱动器 (10 个),这些驱动器可作为 iSCSI 设备提供给备份应用程序。

    • 介质更换器 - VTL 介质更换器类似于将磁带在物理磁带库的存储槽和磁带驱动器之间移动的机械手。每个 VTL 均附带一个介质更换器,该介质更换器可作为 iSCSI 设备用于您的备份应用程序。

  • 存档 – 存档类似于场外磁带容纳设备。您可以将网关 VTL 中的磁带存档到存档。如果需要,可以将存档中的磁带检索回网关的 VTL。

    • 存档磁带 - 当备份软件弹出磁带时,网关会将磁带移至存档以便长期存储。存档位于激活了网关的 AWS 区域中。存档中的磁带将存储在 Amazon Glacier 中,后者是一项用于数据存档和备份的成本极低的存储服务。有关更多信息,请参阅 Amazon Glacier

    • 检索磁带 – 您无法直接读取存档的磁带。要读取存档的磁带,您必须先通过使用 Storage Gateway 控制台或使用 Storage Gateway API 将其检索到磁带网关。检索到的磁带在您开始检索约 3 到 5 小时后在 VTL 中可用。

在部署并激活磁带网关后,您在本地应用程序服务器上将虚拟磁带驱动器和介质更换器作为 iSCSI 设备安装。您可以根据需要创建虚拟磁带。然后您可以使用现有备份软件应用程序将数据写入虚拟磁带中。介质更换器在虚拟磁带驱动器中加载和卸载虚拟磁带以进行读取和写入操作。

为网关 VM 分配本地磁盘

网关 VM 需要为以下目的分配的本地磁盘:

  • 缓存存储空间 - 缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的持久存储器。

    如果您的应用程序读取虚拟磁带中的数据,则网关会将数据保存到缓存存储空间。网关将最近访问的数据存储在缓存存储中以实现低延迟访问。如果您的应用程序请求磁带数据,则网关在从 AWS 下载数据前会先检查缓存存储空间中的数据。

  • 上传缓冲区 - 上传缓冲区在数据上传到虚拟磁带前为网关提供一个暂存区域。上传缓冲区对于创建可用来从意外故障中恢复磁带的恢复点也非常重要。有关更多信息,请参阅 您需要从发生故障的磁带网关恢复虚拟磁带

当备份应用程序将数据写入网关时,网关会将数据复制到缓存存储和上传缓冲区中。然后,它会确认已完成对备份应用程序的写入操作。

有关要为缓存存储和上传缓冲区分配的磁盘空间量的指南,请参阅确定本地磁盘存储量