操作方法AWS Storage Gateway作品 (建筑) - AWS Storage Gateway
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

Amazon S3 文件网关文档已移至什么是 Amazon S3 文件网关

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

操作方法AWS Storage Gateway作品 (建筑)

在下面,您可以找到可用的 AWS Storage Gateway 解决方案的架构概述。

文件网关

要使用文件网关,请首先下载文件网关的 VM 映像。然后,从 AWS 管理控制台激活或通过 Storage Gateway 激活文件网关。也可以使用 Amazon EC2 映像创建文件网关。

在文件网关,您可创建和配置文件共享并将该共享与Amazon Simple Storage Service(Amazon S3) 存储桶。执行此操作可使客户端使用网络文件系统 (NFS) 或服务器消息块 (SMB) 协议访问该共享。写入到文件共享的文件将成为 Amazon S3 中的对象,使用路径作为密钥。文件与对象之间存在一对一的映射,在您更改文件时,网关会异步更新 Amazon S3 中的对象。中的现有对象Amazon S3存储桶显示为文件系统中的文件,而键成为路径。对象使用Amazon S3–服务器端加密密密密钥 (SSE-S3)。所有数据传输都是通过 HTTPS 完成的。

该服务可优化网关和AWS使用分段并行上传或字节范围下载,以更好地利用可用带宽。系统维护本地缓存以提供对最近访问数据的低延迟访问,并减少数据传出成本。CloudWatch指标提供对 VM 上资源使用情况以及与之间的数据传输的深入见解AWS。CloudTrail跟踪所有 API 调用。

利用文件网关存储,您可以执行多个任务,例如将云工作负载注入Amazon S3、执行备份和归档、分层以及将存储数据迁移到Amazon Web Services云扩展。下图概述了 Storage Gateway 的文件存储部署。

文件网关将文件上传到Amazon S3。针对文件网关上共享的文件和 S3 对象执行的文件操作之间的交互需要在文件和对象之间进行转换时仔细考虑某些操作。

常见的文件操作会更改文件元数据,从而导致删除当前 S3 对象并创建新的 S3 对象。下表显示了示例文件操作及其对 S3 对象的影响。

文件操作 S3 对象影响 存储类别含义

重命名文件

替换现有 S3 对象并为每个文件创建一个新的 S3 对象

可能会收取提前删除费和检索费

重命名文件夹

替换所有现有 S3 对象,并为文件夹结构中的每个文件夹和文件创建新的 S3 对象

可能会收取提前删除费和检索费

更改文件/文件夹权限

替换现有 S3 对象并为每个文件或文件夹创建一个新的 S3 对象

可能会收取提前删除费和检索费

更改文件/文件夹所有权

替换现有 S3 对象并为每个文件或文件夹创建一个新的 S3 对象

可能会收取提前删除费和检索费

追加到文件

替换现有 S3 对象并为每个文件创建一个新的 S3 对象

可能会收取提前删除费和检索费

当 NFS 或 SMB 客户端将文件写入文件网关时,文件网关会将文件的数据上传到Amazon S3后跟其元数据(所有权、时间戳等)。上传文件数据会创建一个 S3 对象,上传文件的元数据会更新 S3 对象的元数据。此过程创建对象的另一个版本,从而生成对象的两个版本。如果启用 S3 版本控制,则将存储两个版本。

在文件网关中由 NFS 或 SMB 客户端修改文件时,文件已上载到Amazon S3,文件网关会上传新的或修改的数据,而不是上传整个文件。文件修改会导致创建 S3 对象的新版本。

当文件网关上传较大的文件时,可能需要在客户端写入文件网关之前上传较小的文件块。这样做的一些原因包括释放缓存空间或高写入文件共享的速率。这可能导致 S3 存储桶中的对象版本。

在设置生命周期策略以将对象移动到不同的存储类别之前,您应监控 S3 存储桶以确定存在多少版本的对象。您应该为早期版本配置生命周期过期,以最大限度地减少 S3 存储桶中对象的版本数。在 S3 存储桶之间使用同区域复制 (SRR) 或跨区域复制 (CRR) 将增加使用的存储空间。

卷网关

对于卷网关,您可以使用缓存卷或存储卷。

缓存卷架构

通过使用缓存卷,您可以将 Amazon S3 用作主要数据存储,同时将经常访问的数据保留在本地的存储网关中。缓存卷可帮助您尽量避免扩展内部存储基础设施,同时为您的应用程序提供对其常用数据的低延迟访问。您可以创建容量高达 32 TiB 的存储卷,并从本地应用程序服务器将其附加为 iSCSI 设备。网关将写入这些卷中的数据存储在 Amazon S3 中,并将最近读取的数据保留在本地 Storage Gateway 的缓存和上传缓冲区存储中。

缓存卷的大小范围可以是 1 GiB 到 32 TiB,并且必须四舍五入到最接近的 GiB 值。为缓存卷配置的每个网关可以支持最多 32 个卷,总的最大存储卷大小为 1024 TiB (1 PiB)。

在缓存卷解决方案中,AWS Storage Gateway 将所有本地应用程序数据保存在 Amazon S3 的存储卷中。以下示意图提供了缓存卷部署的概览。

安装 Storage Gateway 软件设备后—VM—并激活它,您可以使用AWS 管理控制台来调配由Amazon S3。您还可以使用AWS Storage GatewayAPI 或AWS软件开发工具包库。您然后将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。

您还在场内为该 VM 分配磁盘。这些场内磁盘服务于下列目的:

  • 网关用作缓存存储的磁盘 –当您的应用程序将数据写入AWS时,网关会首先将数据存储在用于缓存存储存储存储空间的本地磁盘上。然后网关将数据上传到 Amazon S3。缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储器。

    缓存存储空间还让您的网关能够在本地存储您的应用程序的最近访问数据,以实现低延迟访问。如果您的应用程序请求数据,网关在检查 Amazon S3 前会先检查缓存存储空间中的数据。

    您可以使用以下准则确定可以为缓存存储空间分配的磁盘空间量。通常,您应该至少分配现有文件存储大小的 20% 作为缓存存储空间。缓存存储空间还应该大于上传缓冲区。此指南帮助确保缓存存储空间具有足够的大小来持续承载上传缓冲区中尚未上传到 Amazon S3 的所有数据。

  • 网关用作上传缓冲区的磁盘 – 为了做好上传到 Amazon S3 的准备,您的网关还会将传入数据存储在一个暂存区域中(称为上传缓冲区)。您的网关通过加密的安全套接字层 (SSL) 连接将此缓冲区数据上传到AWS,其中它被加密存储在Amazon S3。

您可以执行增量备份,亦即快照中的存储卷Amazon S3。这些时间点快照也以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会移除其他任何快照不需要的数据。有关的信息Amazon EBS快照,请参阅Amazon EBS 快照

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为网关存储卷。另外,对于大小约为 16 TiB 的快照,可以将快照用作新的 Amazon EBS 卷的起点。然后,您可以将这个新的 Amazon EBS 卷附加到 Amazon EC2 实例。

缓存卷的所有网关数据和快照数据均存储在 Amazon S3 中,并使用服务器端加密 (SSE) 进行静态加密。不过,您不能使用 Amazon S3 API 或借助 Amazon S3 管理控制台等其他工具访问这些数据。

存储卷架构

通过使用存储卷,您可以将主要数据存储在本地,同时将该数据异步备份到AWS。存储卷为您的本地应用程序提供对整个数据集的低延迟访问。同时,它们可提供持久的场外备份。您可以创建存储卷,并从本地应用程序服务器将它们作为 iSCSI 设备挂载。写入到您的存储卷的数据保存在本地存储硬件中。此数据作为 Amazon Elastic Block Store (Amazon EBS) 快照异步备份到 Amazon S3。

存储卷的大小范围可以是 1 GiB 到 16 TiB,并且必须四舍五入到最接近的 GiB 值。为存储卷配置的每个网关可以支持最多 32 个卷、总共 512 TiB (0.5 PiB) 的卷存储。

使用存储卷,您可在数据中心本地维护卷存储。亦即,您将所有的应用程序场内保存在存储硬件中。然后,使用可帮助保持数据安全性的功能,网关将数据上传到Amazon Web Services云可实现经济高效的备份和快速灾难恢复。如果您希望将数据保留在本地,此解决方案是理想的选择,因为您需要对所有数据的低延迟访问以及在AWS。

下图概述了存储卷的部署情况。

在安装AWS Storage Gateway软件设备—VM—在数据中心的主机上并激活它,您可以创建网关存储卷。然后将它们映射到本地直连式存储 (DAS) 或存储区域网络 (SAN) 磁盘。您可以从新磁盘或已存有数据的磁盘开始着手。您然后可以将这些存储卷作为 iSCSI 设备安装到场内应用程序服务器。场内应用程序从/向网关存储卷读写数据的同时,这些数据从卷的已分配磁盘存储并检索。

为了准备将数据上传到 Amazon S3,网关还将传入数据存储在称为上传缓冲区的中转区中。您可以将场内 DAS 或 SAN 磁盘用作工作存储空间。您的网关通过加密的安全套接字层 (SSL) 连接将数据从上传缓冲区上传到AWS Storage Gateway服务运行在Amazon Web Services云扩展。该服务随后将数据加密存储在 Amazon S3 中。

您可以对存储卷拍摄增量备份,亦即快照。网关将这些快照以 Amazon EBS 快照的形式存储在 Amazon S3 中。拍摄新的快照时,只有从上次快照拍摄以来发生变化的数据才会存储。您可以采用预定或一次性方式启动快照的拍摄。删除快照时,只会删除其他快照都不需要的数据。

如果需要恢复数据的备份,则可以将 Amazon EBS 快照还原为本地网关存储卷。您还可以将快照用作新 Amazon EBS 卷的起点,并可在随后将该卷连接到 Amazon EC2 实例。

磁带网关

磁带网关提供了一种经济高效的持久解决方案,可用于将数据存档在Amazon Web Services云扩展。利用虚拟磁带库 (VTL) 接口,您可以使用现有的基于磁带的备份基础设施,将数据存储到您在磁带网关上创建的虚拟磁带盒。每个磁带网关预配置了介质更换器和磁带驱动器。这些可作为 iSCSI 设备用于您的现有客户端备份应用程序。根据需要添加磁带盒以存档数据。

下图概述了磁带网关的部署情况。

该图标识了下列磁带网关组件:

  • 虚拟磁带 – 虚拟磁带类似于物理磁带盒。但是,虚拟磁带数据存储在Amazon Web Services云扩展。与物理磁带一样,虚拟磁带可以为空,也可以将数据写入到其中。您可以通过使用 Storage Gateway 控制台创建虚拟磁带,也可以借助 Storage Gateway API 以编程方式创建虚拟磁带。每个网关一次可包含最多 1500 个磁带或最多 1 PiB 总磁带数据。每个虚拟磁带的大小 (可在创建磁带时进行配置) 介于 100 GiB 和 5 TiB 之间。

  • 虚拟磁带库 (VTL) – VTL 类似于带机械臂和磁带驱动器的本地可用的物理磁带库。您的 VTL 包括存储的虚拟磁带的集合。每个磁带网关均附带了一个 VTL。

    您创建的虚拟磁带将显示在网关的 VTL 中。VTL 中的磁带由 Amazon S3 进行备份。当备份软件向网关写入数据时,网关会将数据存储在本地,然后以异步方式将数据上传到 VTL 中的虚拟磁带—也就是说,Amazon S3。

    • 磁带驱动器 – VTL 磁带驱动器类似于可对磁带执行 I/O 和搜索操作的物理磁带驱动器。每个 VTL 均附带一组磁带驱动器 (10 个),这些驱动器可作为 iSCSI 设备提供给备份应用程序。

    • 介质更换器 – VTL 介质更换器类似于将磁带在物理磁带库的存储槽和磁带驱动器之间移动的机械手。每个 VTL 均附带一个介质更换器,该介质更换器可作为 iSCSI 设备用于您的备份应用程序。

  • 存档 – 存档类似于场外磁带容纳设备。您可以将网关 VTL 中的磁带存档到存档。如果需要,可以将存档中的磁带取回到网关的 VTL。

    • 存档磁带 – 当备份软件弹出磁带时,网关会将磁带移至存档以便长期存储。归档文件位于AWS您激活了网关的区域。存档中的磁带存储在虚拟磁带架 (VTS) 中。VTS 由 S3 GlacierS3 Glacier Deep Archive 提供支持,这是一种提供数据存档、备份和长期数据保留的低成本存储服务。

    • 检索磁带 – 您无法直接读取存档的磁带。若要读取存档的磁带,您必须先通过使用 Storage Gateway 控制台或 Storage Gateway API 将其检索到磁带网关。

      重要

      如果您在 GLACIER 中存档磁带,则通常可以在 3-5 小时内检索该磁带。如果您在 DEEP_ARCHIVE 中存档磁带,则通常可以在 12 小时内检索它。

在部署并激活磁带网关后,您在本地应用程序服务器上将虚拟磁带驱动器和介质更换器作为 iSCSI 设备安装。您可以根据需要创建虚拟磁带。然后您可以使用现有备份软件应用程序将数据写入虚拟磁带中。介质更换器在虚拟磁带驱动器中加载和卸载虚拟磁带以进行读取和写入操作。

为网关 VM 分配本地磁盘

网关 VM 需要为以下目的分配的本地磁盘:

  • 缓存存储空间 – 缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的持久存储器。

    如果您的应用程序读取虚拟磁带中的数据,则网关会将数据保存到缓存存储空间。网关将最近访问的数据存储在缓存存储中以实现低延迟访问。如果您的应用程序请求磁带数据,网关会先检查缓存存储空间中的数据,然后再从AWS。

  • 上传缓冲区 – 上传缓冲区在数据上传到虚拟磁带前为网关提供一个暂存区域。上传缓冲区对于创建可用来从意外故障中恢复磁带的恢复点也非常重要。有关更多信息,请参阅 您需要从发生故障的磁带网关恢复虚拟磁带

当备份应用程序将数据写入网关时,网关会将数据复制到缓存存储和上传缓冲区中。然后,它会确认已完成对备份应用程序的写入操作。

有关要为缓存存储和上传缓冲区分配的磁盘空间量的指南,请参阅确定本地磁盘存储容量