AWS Storage Gateway
User Guide (API Version 2013-06-30)
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。点 击 Getting Started with Amazon AWS to see specific differences applicable to the China (Beijing) Region.

AWS Storage Gateway 的工作原理 (架构)

本节提供了可用的 AWS Storage Gateway 解决方案的架构概述。

文件网关

要使用文件网关存储,您必须为文件存储网关下载虚拟机映像,并从 AWS 管理控制台或存储网关 API 激活它。在激活之后,您可以配置网关通过 NFS v3 或 v4.1 作为文件系统公开的 S3 存储桶。写入到 NFS 的文件成为 Amazon S3 中的对象,使用路径为关键字。文件与对象之间存在一对一的映射,在您对文件进行更改时,网关会异步更新 Amazon S3 中的对象。存储桶中的现有对象显示为文件系统中的文件,而关键字成为路径。对象使用 Amazon S3 托管的加密密钥 (SSE-S3) 在服务器端加密,所有数据传输通过 HTTPS 执行。该服务使用分段并行上传或字节范围下载,优化了网关与 AWS 之间的数据传输,以更好利用可用带宽。与缓存卷类似,系统维护本地缓存以提供对最近访问数据的低延迟访问,并减少数据传出成本。CloudWatch 指标提供对 VM 上资源使用情况、与 AWS 间的往返数据传输以及所有 API 调用的 CloudTrail 跟踪的深入见解。

文件网关存储适用于将数据传入到 S3 以供云工作负载使用、备份和存档以及分层存储到 AWS 云等使用案例。下图概述了 AWS Storage Gateway 文件存储的部署情况。

卷网关

缓存卷架构

缓存卷可让您将 Amazon Simple Storage Service (Amazon S3) 用作主要数据存储,同时将经常访问的数据本地保留在存储网关中。缓存卷可帮助您尽量避免扩展内部存储基础设施,同时为您的应用程序提供对其常用数据的低延迟访问。您可以创建容量高达 32 TiB 的存储卷,并从本地应用程序服务器将其附加为 iSCSI 设备。网关将写入这些卷中的数据存储在 Amazon S3 中,并将最近读取的数据保留在本地 Storage Gateway 的缓存和上传缓冲区存储中。

缓存卷的大小范围可以是 1 GiB 到 32 TiB,并且必须四舍五入到最接近的 GiB 值。为缓存卷配置的每个网关可以支持最多 32 个卷,总的最大存储卷大小为 1024 TiB (1 PiB)。

在缓存卷解决方案中,AWS Storage Gateway 将所有本地应用程序数据保存在 Amazon S3 的存储卷中。

以下示意图提供了缓存卷部署的概览。

在数据中心的主机上安装并激活 AWS Storage Gateway 软件设备 (虚拟机 (VM)) 后,您可以使用 AWS 管理控制台预配置 Amazon S3 支持的存储卷。您还可以使用 AWS Storage Gateway API 或 AWS SDK 库以编程方式预配置存储卷。您然后将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。

您还在场内为该 VM 分配磁盘。这些场内磁盘服务于下列目的:

  • 网关用作缓存卷的磁盘 - 在您的应用程序向 AWS 中的存储卷写入数据的同时,网关会在将这些数据上传到 Amazon S3 前将其初步存储在称为缓存存储空间的本地磁盘中。缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储器。

    缓存存储空间还让您的网关能够在本地存储您的应用程序的最近访问数据,以实现低延迟访问。如果您的应用程序请求数据,网关在检查 Amazon S3 前会先检查缓存存储空间中的数据。

    您可以使用以下准则确定可以为缓存存储空间分配的磁盘空间量。通常,您应该至少分配现有文件存储大小的 20% 作为缓存存储空间。缓存存储空间还应该大于上传缓冲区。后一个准则可以确保缓存存储空间具有足够的大小来持续承载上传缓冲区中尚未上传到 Amazon S3 的所有数据。

  • 网关用作上传缓冲区的磁盘 - 为了做好上传到 Amazon S3 的准备,您的网关还会将传入数据存储在一个暂存区域中 (称为上传缓冲区)。您的网关会通过加密的安全套接字层 (SSL) 连接将此缓冲区数据上传到 AWS,然后以加密形式存储在 Amazon S3 中。

您可以在 Amazon S3 中对存储卷拍摄增量备份 (称为“快照”)。这些时间点快照也以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会移除其他任何快照不需要的数据。有关 Amazon EBS 快照的信息,请参阅 Amazon EBS 快照

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为网关存储卷。另外,对于大小约为 16 TiB 的快照,可以将快照用作新的 Amazon EBS 卷的起点。然后,您可以将这个新的 Amazon EBS 卷附加到 Amazon EC2 实例。

所有缓存卷网关数据和快照数据均存储在 Amazon S3 中,并使用服务器端加密 (SSE) 进行安全加密。不过,您不能使用 Amazon S3 API 或借助 Amazon S3 控制台等其他工具访问这些数据。

存储卷架构

存储卷让您可在本地存储您的主要数据,同时将该数据异步备份到 AWS。存储卷在为您的本地应用程序提供持久场外备份的同时,也为它们提供对整个数据集的低延迟访问。您可以创建存储卷,并从本地应用程序服务器将它们作为 iSCSI 设备挂载。写入到您的存储卷的数据保存在本地存储硬件中。此数据以 Amazon Elastic Block Store (Amazon EBS) 快照的形式异步备份到 Amazon Simple Storage Service (Amazon S3)。

存储卷的大小范围可以是 1 GiB 到 16 TiB,并且必须四舍五入到最接近的 GiB 值。为存储卷配置的每个网关可以支持最多 32 个卷、总共 512 TiB (0.5 PiB) 的卷存储。

使用存储卷,您可在数据中心本地维护卷存储。亦即,您将所有的应用程序场内保存在存储硬件中。然后,借助可帮助保持数据安全性的功能,网关将数据上传到 AWS 云,从而实现经济高效的备份和快速灾难恢复。如果您希望将数据本地保存在场内,这就是个理想的解决方案,因为您需要对所有数据的低延迟访问并在 AWS 中维护备份。

下图概述了存储卷的部署情况。

在数据中心的主机上安装并激活 AWS Storage Gateway 的软件设备 (虚拟机 (VM)) 后,您可以创建网关存储卷并将其映射到本地直连存储空间 (DAS) 或存储区域网络 (SAN) 磁盘。您可以从新磁盘或已存有数据的磁盘开始着手。您然后可以将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。场内应用程序从/向网关存储卷读写数据的同时,这些数据从卷的已分配磁盘存储并检索。

为了做好将数据上传到 Amazon S3 的准备,网关还将传入数据保存在称为“上传缓冲区”的暂存区域中。您可以将场内 DAS 或 SAN 磁盘用作工作存储空间。您的网关通过加密的安全套接字层 (SSL) 连接,将数据从上传缓冲区上传到在 AWS 云中运行的 AWS Storage Gateway 服务。该服务随后将数据加密存储在 Amazon S3 中。

您可以对存储卷拍摄增量备份,亦即快照。 网关将这些快照以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会删除其他快照都不需要的数据。

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为本地网关存储卷。您还可以将这些快照用作新 Amazon EBS 卷的起点,并可在随后将卷连接到 Amazon Elastic Compute Cloud (Amazon EC2) 实例。

磁带网关

磁带网关提供了一种经济高效的持久解决方案,可用于在 AWS 云中对数据进行存档。利用该解决方案提供的 VTL 接口,您可以通过现有的基于磁带的备份应用程序基础设施,将数据存储到您在磁带网关上创建的虚拟磁带盒。使用介质更换器和磁带驱动器预配置每个磁带网关,可将这些介质更换器和磁带驱动器作为 iSCSI 设备用于现有客户端备份应用程序。根据需要添加磁带盒以存档数据。

下图概述了磁带网关的部署情况。

该图标识了下列磁带网关组件:

  • 虚拟磁带 - 虚拟磁带类似于物理磁带盒。但是,虚拟磁带数据存储在 AWS 云中。与物理磁带一样,虚拟磁带可以为空,也可以将数据写入到其中。您可以通过使用 AWS Storage Gateway 控制台创建虚拟磁带,也可以借助 AWS Storage Gateway API 以编程方式创建虚拟磁带。每个网关一次可包含最多 1500 个磁带或最多 1 PiB 总磁带数据。每个虚拟磁带的大小 (可在创建磁带时进行配置) 介于 100 GiB 和 2.5 TiB 之间。

  • 虚拟磁带库 (VTL) - VTL 类似于带机械臂和磁带驱动器的本地可用的物理磁带库,包括库中存储的虚拟磁带的集合。每个磁带网关均附带了一个 VTL。

    您创建的虚拟磁带将显示在网关的 VTL 中。VTL 中的磁带由 Amazon S3 进行备份。当备份软件将数据写入网关时,该网关会本地存储数据,然后以异步方式将数据上传到 VTL 中的虚拟磁带 (即 Amazon Simple Storage Service (Amazon S3)) 中。

    • 磁带驱动器 - VTL 磁带驱动器类似于可对磁带执行 I/O 和搜索操作的物理磁带驱动器。每个 VTL 均附带一组磁带驱动器 (10 个),这些驱动器可作为 iSCSI 设备提供给备份应用程序。

    • 介质更换器 - VTL 介质更换器类似于将磁带在物理磁带库的存储槽和磁带驱动器之间移动的机械手。每个 VTL 均附带一个介质更换器,该介质更换器可作为 iSCSI 设备用于您的备份应用程序。

  • 存档 - 存档类似于场外磁带容纳设备。您可以将网关 VTL 中的磁带移动到存档,如果需要,还可将存档中的磁带检索回网关的 VTL。

    • 存档磁带 - 当备份软件弹出磁带时,网关会将磁带移至存档以便长期存储。存档位于激活了网关的 AWS 区域中。存档中的磁带将存储在 Amazon Glacier 中,后者是一项用于数据存档和备份的成本极低的存储服务。有关更多信息,请参阅 Amazon Glacier

    • 检索磁带 - 无法直接读取存档磁带。若要读取存档的磁带,您必须先通过使用 AWS Storage Gateway 控制台或使用 AWS Storage Gateway API 将其检索到磁带网关。检索到的磁带在约 3 至 5 小时后将在 VTL 中可用。

在部署并激活磁带网关后,您在本地应用程序服务器上将虚拟磁带驱动器和介质更换器作为 iSCSI 设备安装。根据需要创建虚拟磁带,然后使用现有备份软件应用程序将数据写入虚拟磁带中。介质更换器在虚拟磁带驱动器中加载和卸载虚拟磁带以进行读取和写入操作。

为网关 VM 分配本地磁盘

网关 VM 需要为以下目的分配的本地磁盘:

  • 缓存存储空间 - 缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的持久存储器。

    如果您的应用程序读取虚拟磁带中的数据,则网关会将数据保存到缓存存储空间。网关将最近访问的数据存储在缓存存储中以实现低延迟访问。如果您的应用程序请求磁带数据,则网关在从 AWS 下载数据前会先检查缓存存储空间中的数据。

  • 上传缓冲区 - 上传缓冲区在数据上传到虚拟磁带前为网关提供一个暂存区域。上传缓冲区对于创建可用来从意外故障中恢复磁带的恢复点也非常重要。有关更多信息,请参阅 您需要从发生故障的磁带网关恢复虚拟磁带

当备份应用程序将数据写入网关时,网关会先将数据复制到缓存存储空间和上传缓冲区,然后再确认已完成对备份应用程序的写入操作。

有关用于确定您应为缓存存储空间和上传缓冲区分配的磁盘空间量的指南,请参阅 确定本地磁盘存储量