AWS Storage Gateway
User Guide (API Version 2013-06-30)
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。点 击 Getting Started with Amazon AWS to see specific differences applicable to the China (Beijing) Region.

管理 AWS Storage Gateway 的本地磁盘

网关虚拟机 (VM) 使用您在本地分配的本地磁盘进行缓冲和存储。对于缓存卷和磁带网关,您应分配两个磁盘,其中一个磁盘用于上传缓冲区,另一个磁盘则用于缓存存储。对于存储卷,您应分配一个磁盘用于上传缓冲区。

重要

在向现有网关添加缓存或上传缓冲区时,在主机 (管理程序或 Amazon EC2 实例) 中创建新磁盘至关重要。如果之前已将磁盘分配为缓存或上传缓冲区,请勿更改现有磁盘的大小。

请勿删除已分配为缓存存储的缓存磁盘。

确定本地磁盘存储量

在此步骤中,您将确定要为网关分配的磁盘的数量和大小,如下所示:

  • 所有网关都需要一个或多个磁盘用作上传缓冲区。

  • 根据您部署的存储解决方案 (请参阅 规划 AWS Storage Gateway 部署),网关需要以下附加存储:

    • 磁带网关和使用缓存卷创建的网关需要一个或多个磁盘用作缓存存储。

    • 使用存储卷创建的网关需要一个或多个磁盘用作卷存储 - 您将在网关上创建的每个卷都需要一个本地磁盘。

您至少需要两个磁盘才能开始。下表为所部署的网关推荐了本地磁盘存储的大小。在转到下一步之前,请确定要分配的磁盘的数量和大小。在设置网关后,您可以根据工作负载的需要添加更多本地存储。如果您不确定要使用的磁盘数量和大小,请预配置两个具有您的网关类型的最小推荐大小的本地磁盘。有关推荐的磁盘大小的信息,请参阅为网关推荐的本地磁盘大小

如果您计划在生产中部署网关,则应在确定磁盘大小时考虑实际工作负载。有关磁盘大小准则的信息,请参阅添加和移除上传缓冲区添加缓存存储空间

有关网关如何使用本地存储的更多信息,请参阅 AWS Storage Gateway 的工作原理 (架构)

在下一步中,您将向已部署的网关 VM 分配本地磁盘存储。

下表描述了本地存储的类型以及需要每种本地存储的网关类型。

本地存储 描述 网关类型
上传缓冲区 上传缓冲区在网关将数据上传到 Amazon S3 前为数据提供了一个暂存区域。您的网关通过加密的安全套接字层 (SSL) 连接将此缓冲区数据上传到 AWS。
  • 缓存卷

  • 存储卷

  • 磁带网关

缓存存储空间 缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储。当应用程序对卷或磁带执行 I/O 时,网关会将数据保存到缓存存储以实现低延迟访问。当您的应用程序请求卷或磁带中的数据时,网关在从 AWS 下载数据前会先检查缓存存储中的数据。
  • 缓存卷

  • 磁带网关

  • 文件网关

注意

预配置磁盘时,强烈建议您不要为使用相同底层物理存储资源 (即,同一磁盘) 的上传缓冲区和缓存存储预配置本地磁盘。底层物理存储资源在 VMware 中表示为数据存储。部署网关 VM 时,您可选择用来存储 VM 文件的数据存储。预配置本地磁盘 (例如,用作缓存存储空间或上传缓冲区) 时,您可以选择将虚拟磁盘存储在与 VM 相同的数据存储中,也可以选择将其存储在其他数据存储中。

如果您有多个数据存储,强烈建议为缓存存储空间选择一个数据存储,为上传缓冲区选择另一个数据存储。仅由一个底层物理磁盘支持,或者仅由一个低性能 RAID 配置 (如 RAID 1) 支持的数据存储在用于同时支持缓存存储空间和上传缓冲区的某些情况下可能导致性能不佳。

最初配置并部署网关后,您可能会发现需要通过添加或删除用于上传缓冲区的磁盘或添加用于缓存存储的磁盘,来调整本地存储。

为网关配置本地存储

创建网关时,您为网关分配磁盘以用作上传缓冲区或缓存存储。当您首次创建网关时,将通过为网关 VM 预配置的本地磁盘创建上传缓冲区和缓存存储空间。在网关启动并运行后,您可能决定为网关配置更多上传缓冲区或缓存存储空间。在决定磁盘大小时,使用建议的大小配置公式。有关存储大小调整的信息,请参阅添加和移除上传缓冲区添加缓存存储空间。如果您是首次配置本地存储,请参阅配置本地磁盘以获得指导。

配置上传缓冲区或缓存存储

激活网关之后,您可能需要添加额外的磁盘并将其配置为本地存储。以下过程显示如何为网关配置上传缓冲区或缓存存储。

重要

在向现有网关添加缓存或上传缓冲区时,在主机 (管理程序或 Amazon EC2 实例) 中创建新磁盘至关重要。如果之前已将磁盘分配为缓存或上传缓冲区,请勿更改现有磁盘的大小。

请勿删除已分配为缓存存储的缓存磁盘。

配置上传缓冲区或缓存存储

  1. 通过以下网址打开 AWS Storage Gateway 控制台:https://console.amazonaws.cn/storagegateway/home

  2. 在导航窗格中,选择 Gateways

  3. Action 菜单中,选择 Edit local disks

  4. 在“Edit local disks”对话框中,标识您预配置的磁盘,然后确定将哪个磁盘用作上传缓冲区或缓存存储。

    注意

    对于存储卷,只显示上传缓冲区,因为存储卷没有缓存磁盘。

  5. 在下拉列表框的 Allocate to 列中,为要用作上传缓冲区的磁盘选择 Upload Buffer

  6. 对于使用缓存卷和磁带网关创建的网关,为要用作缓存存储的磁盘选择 Cache

    如果您未看到自己的磁盘,请选择 Refresh 按钮。

  7. 选择 Save 以保存您的配置设置。

对于存储卷,您将配置两个磁盘之一以供您的应用程序数据使用,并将另一个磁盘用作上传缓冲区。

添加和移除上传缓冲区

配置初始网关之后,您可随应用程序需求的变化分配和配置额外的上传缓冲区容量或减少该容量。如需更多了解如何根据应用程序需求配置您的上传缓冲区的大小,请参阅配置上传缓冲区

添加上传缓冲区容量

随着应用程序需求的变化以及更多存储卷容量的添加,您也可能需要增加网关的上传缓冲区容量。您可以向网关添加更多缓冲区空间,无需中断现有的网关功能。请注意,在添加更多上传缓冲区容量时,应该让网关 VM 处于启动状态。但是,在减少上传缓冲区容量时,必须先关闭 VM。您可使用 Storage Gateway 控制台或 Storage Gateway API 添加更多上传缓冲区容量:

  • 有关使用控制台添加缓冲区容量的信息,请参阅 配置上传缓冲区或缓存存储 。此过程假定您的网关在其 VM 上至少有一个本地磁盘可用,可供您将其分配为网关的上传缓冲区。

  • 有关使用 API 添加缓冲区容量的信息,请参阅 AddUploadBuffer

重要

在向现有网关添加缓存或上传缓冲区时,在主机 (管理程序或 Amazon EC2 实例) 中创建新磁盘至关重要。如果之前已将磁盘分配为缓存或上传缓冲区,请勿更改现有磁盘的大小。

请勿删除已分配为缓存存储的缓存磁盘。

移除上传缓冲区容量

由于应用程序需求的变化以及对网关的卷配置的更改,您可能需要减少网关的上传缓冲区容量。分配为上传缓冲区空间的本地磁盘也有可能失效,您可能需要从上传缓冲区移除该磁盘并分配新的本地磁盘。在两种情况下,均可使用 Storage Gateway 控制台删除缓冲区容量。

以下过程假定您已激活的网关至少有一个本地磁盘分配为网关的上传缓冲区。在该过程中,您首先在 Storage Gateway 控制台中进行操作,然后离开控制台,使用 VMware vSphere 客户端或 Microsoft Hyper-V 管理器移除磁盘,再返回到控制台。

查找分配为上传缓冲区的磁盘的 ID

  1. 通过以下网址打开 AWS Storage Gateway 控制台:https://console.amazonaws.cn/storagegateway/home

  2. 在导航窗格中,选择 Gateways

  3. Action 菜单上,选择 Edit Local Disks

  4. Edit local disks 对话框中,记下要删除的本地磁盘的虚拟设备节点值。您可以在 Disk ID 列中找到节点值。

    您在 vSphere 客户端中使用磁盘的虚拟设备节点来帮助确保移除了正确的磁盘。

  5. 启动和停止网关过程中的步骤操作来停止网关。

    注意

    停止网关前,请确保没有应用程序正在向该网关写入数据,并且没有正在拍摄的快照。您可在 Storage Gateway 控制台的 Snapshot Schedules 选项卡上检查卷的快照计划。有关更多信息,请参阅 编辑快照计划

  6. 要移除底层本地磁盘,请执行下列过程之一。

    对于下列托管网关 请执行此操作
    VMware ESXi

    移除为上传缓冲区分配的磁盘 (VMware ESXi)中的步骤操作。

    Microsoft Hyper-V

    移除为上传缓冲区分配的底层磁盘 (Microsoft Hyper-V)中的步骤操作。

  7. 在 Storage Gateway 控制台上,打开网关。

    重要

    移除用作上传缓冲区的磁盘后,您必须在向 VM 添加新磁盘前重新开启网关。

    网关重新启动后,存储卷可能在网关适应您移除的上传缓冲区磁盘时经历 状态。经历这两个状态的卷最终将变为 ACTIVE 状态。您可以在 PASS THROUGH 和 BOOTSTRAPPING 状态期间使用卷。但是,您不能拍摄处于这些状态的卷的快照。您可以在 Storage Gateway 控制台的 Volumes 选项卡中监控卷状态。

配置上传缓冲区

您可以利用上传缓冲区公式来确定上传缓冲区的大小。我们强烈建议您至少分配 150 GiB 的上传缓冲区。如果公式返回小于 150 GiB 的值,请将 150 GiB 用作您分配给上传缓冲区的空间量。您可以为每个网关配置高达 2TiB 的上传缓冲区容量。

注意

对于卷网关,当上传缓冲区达到其容量后,您的卷将进入 PASS THROUGH 状态。在此状态中,应用程序写入的新数据将保存在本地,但不会立即上传到 AWS。因此,您不能拍摄新快照。当上传缓冲区容量释放时,该卷将进入“BOOTSTRAPPING”(引导) 状态。在此状态中,保存在本地的任何新数据都将上传到 AWS。最后,该卷将返回到“ACTIVE”(活跃) 状态。Storage Gateway 随后使用 AWS 中存储的副本恢复存储在本地的数据的正常同步,并且您可以开始拍摄新快照。有关卷状态的更多信息,请参阅 理解卷状态

对于磁带网关,当上传缓冲区达到其容量后,您的应用程序可继续在存储卷中读写数据。不过,磁带网关不会将任何卷数据写入到其上传缓冲区,也不会将任何此类数据上传到 AWS,直到 Storage Gateway 将本地存储的数据与存储在 AWS 中的数据副本进行同步。此同步将在卷处于 BOOTSTRAPPING 状态时发生。

若要估算上传缓冲区的容量,您可以确定所需的传入和传出数据速率,并将它们插入以下公式中。

传入数据的速率

此速率指应用程序吞吐量,亦即您的本地应用程序在某段时间内将数据写入网关的速率。

传出数据的速率

此速率指网络吞吐量,亦即您的网关将数据上传到 AWS 时可达到的速率。此速率取决于您的网络速度、使用率以及您是否启用了带宽限制。该速率应该针对压缩率进行调整。将数据上传到 AWS 时,网关在可能的情况下将实施数据压缩。例如,如果您的应用程序数据为纯文本,您可以获得约 2:1 的有效压缩率。不过,如果您正在写入视频,网关可能无法实现任何数据压缩,并且可能需要更多的网关上传缓冲区。

如果传入速率大于传出速率,或者公式返回的值小于 150 GiB,强烈建议您至少分配 150 GiB 的上传缓冲区空间。

例如,假定您的商业应用程序每天 12 个小时以每秒 40 MB 的速率向网关写入文本数据并且您的网络吞吐量为每秒 12 MB。假定文本数据的压缩系数为 2:1,您就需要为上传缓冲区分配约 690GiB 的空间。

Copy
((40 MB/sec) - (12 MB/sec * 2)) * (12 hours * 3600 seconds/hour) = 691200 megabytes

请注意您可以将此近似值用来初步确定您希望分配给网关作为上传缓冲区空间的磁盘大小。使用 Storage Gateway 控制台按需添加更多的上传缓冲区空间。此外,您也可以使用 Amazon CloudWatch 运行指标来监控上传缓冲区使用率并确定额外的存储空间需求。有关指标及设置警报的更多信息,请参阅 监控上传缓冲区

如果您确定需要改变上传缓冲区的容量,请执行下列操作。

目的 请执行此操作
向您的网关添加更多上传缓冲区容量。

添加上传缓冲区容量中的步骤操作。

移除分配为上传缓冲区的磁盘。

移除上传缓冲区容量中的步骤操作。

添加缓存存储空间

缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储。

重要

使用存储卷创建的网关不需要缓存存储。

下图以更大幅的缓存卷架构为背景,突出显示了缓存存储。有关更多信息,请参阅 AWS Storage Gateway 的工作原理 (架构)

下图以更大幅的磁带网关架构为背景,突出显示了缓存存储。有关更多信息,请参阅 AWS Storage Gateway 的工作原理 (架构)

您的网关需要的缓存存储空间大小取决于您希望提供低延迟访问的应用程序数据量。缓存存储空间的大小不得少于上传缓冲区的大小。此准则可帮助确保缓存存储有足够的大小来持续保留尚未上传到 Amazon S3 的全部数据。当您的缓存存储填满脏数据 (即未上传到 AWS 的数据) 时,将阻止对卷或磁带的应用程序写入操作,直至有更多的缓存存储可用。但是,仍允许应用程序从卷或磁带进行读取操作。

可遵循下面的一些准则来帮助确保为网关分配了足够的缓存存储。

  • 使用大小配置公式。 – 随着应用程序需求的变化,您应该定期复核用来配置缓存存储大小的推荐公式。有关更多信息,请参阅 配置缓存存储空间大小

  • 使用 Amazon CloudWatch 指标。 – 您可通过监控缓存存储的使用情况 (具体而言,即复核缓冲未命中数),主动避免脏数据填满缓存存储。 CloudWatch 提供了 CachePercentDirtyCacheHitPercent 指标等用量指标,以监控网关的尚未上传到 Amazon S3 的缓存存储量。可以设置警报,以便在缓存废数据百分率超过某阈值或缓存命中率低于某阈值时触发向您发送的通知。两者均可表示缓存存储大小不够网关使用。有关 Storage Gateway 指标的完整列表,请参阅 了解 Storage Gateway 指标

配置缓存存储空间大小

您的网关使用其缓存存储来提供对最近访问数据的低延迟访问。缓存存储空间用作等待从上传缓冲区上传到 Amazon S3 的数据的本地持久存储。一般而言,将缓存存储空间的大小配置为上传缓冲区大小的 1.1 倍。有关如何估算缓存存储大小的更多信息,请参阅 配置上传缓冲区

您可以将此近似值用来初步为缓存存储空间预配置磁盘。然后可以使用 Amazon CloudWatch 运行指标来监控缓存存储空间使用率并使用控制台按需预配置更多的存储空间。有关使用指标和设置警报的信息,请参阅 监控缓存卷

如果决定需要增加网关的缓存存储容量,请按为网关添加缓存存储中的步骤操作。

为网关添加缓存存储

配置初始网关缓存存储 (如配置上传缓冲区或缓存存储中所述) 后,可随应用程序需求的变化向网关添加额外的缓存存储。要详细了解如何根据应用程序需求调整缓存存储大小,请参阅添加缓存存储空间

您可以在网关 VM 开启的情况下向网关添加更多的缓存存储,无需中断现有的网关功能。

重要

在向现有网关添加缓存或上传缓冲区时,在主机 (管理程序或 Amazon EC2 实例) 中创建新磁盘至关重要。如果之前已将磁盘分配为缓存或上传缓冲区,请勿更改现有磁盘的大小。

请勿删除已分配为缓存存储的缓存磁盘。

可使用 Storage Gateway 控制台或 Storage Gateway API 添加更多缓存存储:

  • 有关使用控制台添加缓存存储的信息,请参阅配置上传缓冲区或缓存存储 。此过程假定您的已激活网关在其 VM 上至少有一个本地磁盘可用,可供您将其分配为网关的缓存存储。请勿删除已分配为缓存存储的缓存磁盘。

  • 有关使用 API 添加缓存存储的信息,请参阅 AddCache