性能 - Amazon Storage Gateway
磁带网关的性能指南优化网关性能将 VMware 高可用性与存储网关结合使用
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

亚马逊 S3 文件网关文档已移至什么是亚马逊 S3 文件网关？

亚马逊 FSx 文件网关文档已移至什么是亚马逊 FSx 文件网关？

Volume Gateway 文档已移至什么是卷网关？

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

性能

本节介绍存储网关的性能。

磁带网关的性能指南

在本节中，您可以找到有关为 Tape Gateway 虚拟机配置硬件的配置指南。表中列出的 Amazon EC2 实例大小和类型是示例，仅供参考。

配置 写入吞吐量 Gbps 从缓存读取的吞吐量 Gbps 读取亚马逊网络服务云吞吐量 Gbps

主机平台：亚马逊 EC2 实例 — c5.4xlarge

CPU：16 个 vCPU | RAM：32 GB

根磁盘：80 GB、io1 固态硬盘、4,000 IOPS

缓存磁盘：分条 RAID（2 x 500 GB、io1 EBS 固态硬盘、25000 IOPS）

上传缓冲区磁盘：450 GB，io1 SSD，2000 IOPS

到云的网络带宽：10 Gbps

 2.3 4.0 2.2

主机平台：存储网关硬件设备

缓存磁盘：2.5 TB

上传缓冲区磁盘：2 TB

到云的网络带宽：10 Gbps

2.3 8.8 3.8

主机平台：亚马逊 EC2Instance — c5d.9xlarge

CPU：36 个 vCPU | RAM：72 GB

根磁盘：80 GB、io1 固态硬盘、4,000 IOPS

缓存磁盘：900 GB NVMe 磁盘

上传缓冲区磁盘：900 GB NVMe 磁盘

到云的网络带宽：10 Gbps

 5.2 11.6 5.2

主机平台：亚马逊 EC2Instance — c5d.metal

CPU：96 vCPU | 内存：192 GB

根磁盘：80 GB、io1 固态硬盘、4,000 IOPS

缓存磁盘：条带化 RAID（2 x 900 GB NVMe 磁盘）

上传缓冲区磁盘：900 GB NVMe 磁盘

到云的网络带宽：10 Gbps

 5.2 11.6 7.2
注意

此性能是通过同时使用 1 MB 的块大小和十个磁带驱动器实现的。

上表中的 EC2 配置仅用于代表您在具有相似资源的自己的物理服务器上可能获得的性能。例如，使用条带 RAID 的 EC2 配置是通过特殊机制完成的，我们在 EC2 上的网关通常不支持这种机制。要实现类似的性能，您应该改用连接到运行网关的本地服务器的硬件 RAID 控制器。

您的性能可能因主机平台配置和网络带宽而异。

要提高磁带网关的写入和读取吞吐量性能优化 iSCSI 设置，请参见让磁带驱动器使用更大的数据块、和在备份软件中优化虚拟磁带驱动器的性能。

优化网关性能

为了使您的网关获得最佳性能，Storage Gateway 建议对网关的主机服务器进行以下网关配置：

  • 至少 64 个专用的物理 CPU 内核

  • 对于磁带网关，您的硬件应使用以下数量的 RAM：

    • 为缓存大小不超过 16 TiB 的网关预留 RAM 至少 16 GiB

    • 为缓存大小为 16 TiB 到 32 TiB 的网关预留 RAM 至少 32 GiB

    • 为缓存大小为 32 TiB 到 64 TiB 的网关预留 RAM 至少 48 GiB

    注意

    为了获得最佳网关性能，必须预置至少 32 GiB 的 RAM。

  • 磁盘 1，用作网关缓存，如下所示：

    • 由 NVMe 固态硬盘组成的条带 RAID（独立磁盘冗余阵列）。

  • 磁盘 2，用作网关上传缓冲区，如下所示：

    • 由 NVMe 固态硬盘组成的条带 RAID。

  • 磁盘 3，用作网关上传缓冲区，如下所示：

    • 由 NVMe 固态硬盘组成的条带 RAID。

  • 在虚拟机网络 1 上配置网络适配器 1：

    • 使用 VM 网络 1 并添加 VMXnet3 (10 Gbps) 以用于提取。

  • 在虚拟机网络 2 上配置网络适配器 2：

    • 使用 VM 网络 2 并添加 VMXnet3 (10 Gbps) 以用于连接到 Amazon。

在网关中添加资源

以下瓶颈可能会使您的磁带网关网关的性能降至理论最大持续吞吐量（您的Amazon云带宽）以下：

  • CPU 内核数

  • 缓存/上传缓冲区磁盘吞吐量

  • 内存总量

  • 网络带宽到 Amazon

  • 从启动器到网关的网络带宽

本部分包含您可以采取的优化网关性能的步骤。本指南以向网关或应用程序服务器添加资源为基础。

您可以使用以下一种或多种方法在网关中添加资源以优化网关性能。

使用更高性能的磁盘

缓存和上传缓冲区磁盘吞吐量可能会限制网关的上传和下载性能。如果您的网关的性能明显低于预期，请考虑通过以下方式提高缓存和上传缓冲区磁盘吞吐量：

  • 使用 RAID 10 等条带化 RAID 来提高磁盘吞吐量，最好使用硬件 RAID 控制器。

    注意

    RAID（独立磁盘冗余阵列），或者特别是磁盘条带化 RAID 配置，如 RAID 10，是将数据体分成块并将数据块分布在多个存储设备上的过程。您使用的 RAID 级别会影响您可以实现的确切速度和容错能力。通过在多个磁盘上分条 IO 工作负载，RAID 设备的总吞吐量远高于任何单个成员磁盘的吞吐量。

  • 使用直接连接的高性能磁盘

    要优化网关性能，您可以添加高性能磁盘，如固态硬盘 (SSD) 和 NVMe 控制器。您还可以直接从存储区域网络 (SAN) 而不是 Microsoft Hyper-V NTFS 将虚拟磁盘连接到 VM。更高的磁盘性能通常可带来更大的吞吐量和更多的每秒输入/输出操作 (IOPS) 次数。

    要测量吞吐量，请将 ReadBytes 和 WriteBytes 指标与 Samples Amazon CloudWatch 统计数据结合使用。例如，5 分钟的采样周期内的 Samples 指标的 ReadBytes 统计数据除以 300 秒可以得出 IOPS。一般来说，查看网关的这些指标时，应注意低吞吐量和低 IOPS 趋势，以便显示与磁盘相关的瓶颈。有关网关指标的更多信息，请参阅测量您的磁带网关与磁带网关之间的性能Amazon。

    注意

    CloudWatch 指标不可用于所有网关。有关网关指标的信息，请参阅监控Storage Gateway。

添加 CPU 资源到您的网关主机

网关主机服务器的最低要求是四个虚拟服务器。要优化网关性能，请确认分配给网关 VM 的每个虚拟处理器均由专用 CPU 内核提供支持。此外，还要确认您没有超额预订主机服务器的 CPU。

在将额外的 CPU 添加到网关主机服务器时，将会增加网关的处理能力。这样做可以让您的网关并行处理将应用程序中的数据存储到本地存储以及将这些数据上传到 Amazon S3 的过程。更多 CPU 还可帮助确保在主机与其他 VM 共享时您的网关获得足够的 CPU 资源。提供足够的 CPU 资源通常能取得增加吞吐量的效果。

使用独立物理磁盘支持网关虚拟磁盘

在配置网关磁盘时，我们强烈建议您不要为使用相同底层物理存储磁盘的上传缓冲区和缓存存储空间预置本地磁盘。例如，对于 VMware ESXi，底层物理存储资源表示为数据存储。部署网关 VM 时，您可选择用来存储 VM 文件的数据存储。在预置虚拟磁盘时（例如，作为上传缓冲区），您可以将虚拟磁盘存储在与 VM 相同的数据存储中，也可以将其存储在不同的数据存储中。

如果您有多个数据存储，则强烈建议为要创建的每个类型的本地存储选择一个数据存储。仅由一个底层物理磁盘支持的数据存储可能会导致性能下降。例如，在使用此类磁盘同时支持网关设置中的缓存存储和上传缓冲区时。同样，由性能较低的 RAID 配置（例如 RAID 1 或 RAID 6）支持的数据存储可能会导致性能不佳。

增加网关和Amazon云之间的带宽

增加进出带宽Amazon将提高数据进入网关和流出云的最大速率。Amazon如果网络速度是网关配置中的限制因素，而不是磁盘慢或网关启动器连接带宽差等其他因素，则这可以提高您的网关性能。

往返网络带宽Amazon定义了持续工作负载期间磁带网关的理论最大平均性能。

  • 您可以长时间向磁带网关写入数据的平均速率不会超过上传到的带宽Amazon。

  • 您可以长时间间隔内从 Tape Gateway 读取数据的平均速率不会超过您的下载带宽Amazon。

注意

由于此处列出的其他限制因素，例如缓存/上传缓冲区磁盘吞吐量、CPU 内核数、RAM 总量或启动器与网关之间的带宽，您观察到的网关性能可能会低于您的网络带宽。此外，网关的正常运行涉及为保护数据而采取的许多操作，这可能会导致观测到的性能低于您的网络带宽。

优化 iSCSI 设置

您可以优化 iSCSI 启动程序上的 iSCSI 设置，以实现更高的 I/O 性能。我们建议为 MaxReceiveDataSegmentLength 和 FirstBurstLength 选择 256 KiB，为 MaxBurstLength 选择 1 MiB。有关配置 iSCSI 设置的更多信息，请参阅自定义 iSCSI 设置。

注意

这些推荐的设置可以促进整体性能的提高。但是，优化性能所需的具体 iSCSI 设置因您使用的备份软件而异。有关详细信息，请参阅备份软件文档。

让磁带驱动器使用更大的数据块

对于磁带网关，磁带驱动器的默认块大小为 64 KB。但是，您可以将块大小增加到最多 1 MB 以提高 I/O 性能。

您选择的块大小取决于备份软件支持的最大块大小。我们建议您在备份软件中将磁带驱动器的块大小尽可能设置为较大的值。但是，该块大小不能大于网关支持的最大大小 (1 MB)。

磁带网关协商虚拟磁带驱动器的块大小，以自动匹配备份软件上的设置。在备份软件中增加块大小时，我们建议您还要检查这些设置，以确保主机启动程序支持新的块大小。有关更多信息，请参阅备份软件的文档。有关特定网关性能指南的更多信息，请参阅性能。

在备份软件中优化虚拟磁带驱动器的性能

您的备份软件可以同时备份 Tape Gateway 上最多 10 个虚拟磁带驱动器上的数据。我们建议您在备份软件中配置备份作业，使其在 Tape Gateway 上同时使用至少 4 个虚拟磁带驱动器。在备份软件同时将数据备份到多个虚拟磁带时，您可以实现更高的写入吞吐量。

通常，您可以通过同时操作（读取或写入）更多虚拟磁带来实现更高的最大吞吐量。通过使用更多的磁带驱动器，您可以让网关同时为更多请求提供服务，从而有可能提高性能。

向应用程序环境添加资源

提高应用程序服务器和网关之间的带宽

iSCSI 启动器和网关之间的连接可能会限制您的上传和下载性能。如果您的网关的性能明显低于预期，并且您已经提高了 CPU 内核数和磁盘吞吐量，请考虑：

  • 升级网络电缆以在启动器和网关之间获得更高的带宽。

  • 同时使用尽可能多的磁带驱动器。iSCSI 不支持将同一目标的多个请求排入队列，这意味着您使用的磁带驱动器越多，您的网关可以同时处理的请求就越多。这将使您能够更充分地利用网关和启动器之间的带宽，从而增加网关的表观吞吐量。

要优化网关性能，请确保应用程序和网关之间的网络带宽可满足您的应用程序需求。您可以使用网关的ReadBytes和WriteBytes指标来衡量总数据吞吐量。 有关这些指标的更多信息，请参阅测量您的磁带网关与磁带网关之间的性能Amazon。

对于您的应用程序，请将测得的吞吐量与所需的吞吐量进行比较。如果测得吞吐量小于预期吞吐量，那么如果网络是瓶颈，提高应用程序和网关间的带宽可改善性能。同样地，您可以增加 VM 和本地磁盘之间的带宽 (如果它们不是直接连接的)。

向应用程序环境添加 CPU 资源

如果您的应用程序可以使用额外的 CPU 资源，则添加更多 CPU 可以帮助您的应用程序扩展其 I/O 负载。

在存储网关中使用 VMware vSphere 高可用性

Storage Gateway 通过一系列与 VMware vSphere 高可用性 (VMware HA) 集成的应用程序级运行状况检查，在 VMware 上提供高可用性。此方法有助于保护存储工作负载免受硬件、管理程序或网络故障的影响。它还有助于防止软件错误，例如连接超时和文件共享或卷不可用。

通过此集成，部署在本地 VMware 环境中或 VMware Cloud on Amazon 中的网关将自动从大多数服务中断中恢复。此操作通常在 60 秒内完成，并且不会丢失数据。

要将 VMware HA 与存储网关配合使用，请执行以下步骤。

配置您的 vSphere VMware HA 集群

如果您尚未创建 VMware 集群，请先创建一个。有关如何创建 VMware 集群的信息，请参阅 VMware 文档中的创建 vSphere HA 集群。

接下来，将您的 VMware 集群配置为与存储网关配合使用。

配置 VMware 集群

  1. 在 VMware vSphere 的 Edit Cluster Settings (编辑集群设置) 页面上，确保为 VM 和应用程序监控配置 VM 监控。为此，请设置下面列出的选项：

    • Host Failure Response (主机故障响应)：Restart VMs (重新启动 VM)

    • Response for Host Isolation (主机隔离的响应)： Shut down and restart VMs (关闭并重新启动 VM)

    • Datastore with PDL (具有 PDL 的数据存储)： Disabled (已禁用)

    • Datastore with APD (具有 APD 的数据存储)： Disabled (已禁用)

    • VM Monitoring (VM 监控)：VM and Application Monitoring (VM 和应用程序监控)

    有关示例，请参阅下面的屏幕截图。

    配置了虚拟机和应用程序监控选项的 VMware vSphere 编辑群集设置屏幕。

  2. 通过调整以下值来微调集群的敏感度：

    • 故障间隔-在此间隔之后，如果未收到虚拟机心跳信号，虚拟机将重新启动。

    • 最短正常运行时间-在虚拟机开始监视虚拟机工具的心跳之后，集群会等待这么长时间。

    • 每个 VM 的最大重置次数 — 集群在最大重置时间窗口内重启虚拟机的最大次数。

    • 最大重置时间窗口-计算每台虚拟机最大重置次数的时间窗口。

    如果您不确定要设置的值，请使用以下示例设置：

    • Failure interval (故障间隔)：30 秒

    • Minimum uptime (最短正常运行时间)：120 秒

    • Maximum per-VM resets (每个 VM 的最大重置次数)：3

    • Maximum resets time window (最长重置时段)：1 小时

如果您在集群上运行了其他 VM，则可能需要专门为您的 VM 设置这些值。在从 .ova 部署 VM 之前，无法执行此操作。有关设置这些值的更多信息，请参阅 （可选）为集群上的其他 VM 添加覆盖选项。

从存储网关控制台下载.ova 映像

为您的网关下载.ova 镜像

  • 在 Storage Gateway 控制台的设置网关页面上，选择您的网关类型和主机平台，然后使用控制台中提供的链接下载.ova，如设置磁带网关中所述。

部署网关

在已配置的集群中，将 .ova 映像部署到集群的主机之一。

部署网关 .ova 映像

  1. 将 .ova 映像部署到集群中的主机之一。

  2. 确保为根磁盘和缓存选择的数据存储对集群中的所有主机可用。在 VMware 或本地环境中部署 Storage Gateway .ova 文件时，这些磁盘被描述为半虚拟化 SCSI 磁盘。半虚拟化 是一种模式，在此模式下，网关 VM 使用主机操作系统来让控制台标识您添加到 VM 的虚拟磁盘。

    如需将 VM 配置为使用半虚拟化的控制器

    1. 在 VMware vSphere 客户端中，打开网关 VM 的上下文 (右键单击) 菜单，然后选择 Edit Settings。

    2. 在 Virtual Machine Properties 对话框中，选择 Hardware 选项卡，再选择 SCSI controller 0，然后选择 Change Type。

    3. 在 Change SCSI Controller Type 对话框中，选择 VMware Paravirtual SCSI 控制器类型，然后选择 OK。

（可选）为集群上的其他 VM 添加覆盖选项

如果您在集群上运行了其他 VM，则可能需要专门为每个 VM 设置集群值。

为集群上的其他 VM 添加覆盖选项

  1. 在 VMware vSphere 中的 Summary (摘要) 页面上，选择您的集群以打开集群页面，然后选择 Configure (配置)。

  2. 选择 Configuration (配置) 选项卡，然后选择 VM Overrides (VM 覆盖)。

  3. 添加新的 VM 替代选项以更改每个值。

    有关覆盖选项，请参阅下面的屏幕截图。

    配置了替代选项的 VMware vSphere 添加虚拟机覆盖群集屏幕。

激活网关

在部署适用于网关的 .ova 后，激活网关。有关每个网关类型的不同之处的说明。

激活网关

测试您的 VMware High Availability 配置

激活网关后，请测试您的配置。

测试 VMware HA 配置

  1. 通过 https://console.aws.amazon.com/storagegateway/home 打开存储网关控制台。

  2. 在导航窗格上，选择 Gateways (网关)，然后选择要针对 VMware HA 测试的网关。

  3. 对于 Actions (操作)，请选择 Verify VMware HA (验证 VMware HA)。

  4. 在显示的 Verify VMware High Availability Configuration (验证 VMware High Availability 配置) 框中，选择 OK (确定)。

    注意

    测试 VMware HA 配置将重新启动网关 VM 并中断与网关的连接。该测试可能需要几分钟才能完成。

    如果测试成功，则控制台中网关的详细信息选项卡中将显示 Verified (已验证) 状态。

  5. 请选择 Exit（退出）。

您可以在亚马逊CloudWatch日志组中找到有关 VMware HA 事件的信息。有关更多信息，请参阅使用日志组获取磁带网关运行状况CloudWatch日志获取带有日志组。CloudWatch