不再向新客户提供 Amazon FSx 文件网关。FSx 文件网关的现有客户可以继续正常使用该服务。有关与 FSx 文件网关类似的功能,请访问此博客文章
性能和优化
本节介绍优化文件网关性能的指导和最佳实践。
FSx 文件网关的基本性能指导
在本节中,您可以找到为 FSx 文件网关 VM 预置硬件的指导。表中列出的实例配置是示例,仅供参考。
为获得最佳性能,必须将缓存磁盘大小调整为活动工作集的大小。使用多个本地磁盘进行缓存时,可以通过并行访问数据来提高写入性能,从而提高 IOPS。
注意
我们建议您不要使用短暂存储。有关使用短暂存储的更多信息,请参阅将临时存储与 EC2 网关结合使用。
连接到文件网关的文件系统中各个目录的建议大小限制为每个目录 1 万个文件。您可以将文件网关用于包含超过 1 万个文件的目录,但性能可能会受到影响。
在下表中,缓存命中读取操作从缓存提供的文件数据中读取。缓存未命中读取操作从适用于 Windows File Server 的 Amazon FSx 提供的文件数据中读取。
下表显示了示例 FSx 文件网关配置。
FSx 文件网关在 Windows 客户端上的性能
| 示例配置 | 协议 | 写入吞吐量(文件大小 1 GB) | 缓存命中读取吞吐量 | 缓存未命中读取吞吐量 |
|---|---|---|---|---|
|
根磁盘:80 GB,io1 SSD,4000 IOPS 缓存磁盘:2 x 2 TiB NVME 最低网络性能:10 Gbps CPU:32 个 vCPU | RAM:244 GB |
SMBv3 - 1 个线程 | 162 MiB/秒(1.4 Gbps) | 403 MiB/秒(3.4 Gbps) | 288 MiB/秒(2.4 Gbps) |
| SMBv3 - 8 个线程 | 511 MiB/秒(4.3 Gbps) | 571 MiB/秒(4.8 Gbps) | 567 MiB/秒(4.8 Gbps) |
注意
您的性能可能因主机平台配置和网络带宽而异。写入吞吐量性能会随着文件大小增大而降低,小文件(小于 32MiB)可实现的最高吞吐量为每秒 16 个文件。
优化网关性能
您可以在下面找到有关如何优化网关性能的信息。向网关添加资源以及向应用程序服务器添加资源是这些指导的基础。
在网关中添加资源
您可以使用以下一种或多种方法在网关中添加资源以优化网关性能。
- 使用更高性能的磁盘
-
要优化网关性能,您可以添加高性能磁盘,如固态硬盘 (SSD) 和 NVMe 控制器。您还可以直接从存储区域网络 (SAN) 而不是 Microsoft Hyper-V NTFS 将虚拟磁盘连接到 VM。更高的磁盘性能通常可带来更大的吞吐量和更多的每秒输入/输出操作 (IOPS) 次数。有关添加磁盘的信息,请参阅配置额外的缓存存储。
要测量吞吐量,请将
ReadBytes和WriteBytes指标与SamplesAmazon CloudWatch 统计数据结合使用。例如,5 分钟的采样周期内的Samples指标的ReadBytes统计数据除以 300 秒可以得出 IOPS。一般来说,查看网关的这些指标时,应注意低吞吐量和低 IOPS 趋势,以便显示与磁盘相关的瓶颈。注意
CloudWatch 指标不可用于所有网关。有关网关指标的信息,请参阅监控 FSx 文件网关。
- 添加 CPU 资源到您的网关主机
-
网关主机服务器的最低要求是四个虚拟服务器。要优化网关性能,请确认分配给网关 VM 的四个虚拟处理器由四个内核提供支持。此外,还要确认您没有超额预订主机服务器的 CPU。
在将额外的 CPU 添加到网关主机服务器时,将会增加网关的处理能力。通过执行该操作,您的网关可以并行处理将应用程序中的数据存储到本地存储以及将该数据上传到适用于 Windows File Server 的 FSx 的过程。更多 CPU 还可帮助确保在主机与其他 VM 共享时您的网关获得足够的 CPU 资源。提供足够的 CPU 资源通常能取得增加吞吐量的效果。
Storage Gateway 支持在您的网关主机服务器中使用 24 个 CPU。您可以使用 24 个 CPU 以显著提高网关性能。我们建议您对网关主机服务器使用以下网关配置:
-
24 个 CPU。
-
16 GiB 预留 RAM 用于文件网关
-
对于缓存大小不超过 16 TiB 的网关,预留 16 GiB 的 RAM
-
对于缓存大小为 16 TiB 至 32 TiB 的网关,预留 32 GiB 的 RAM
-
对于缓存大小为 32 TiB 至 64 TiB 的网关,预留 48 GiB 的 RAM
-
-
磁盘 1 附加到半虚拟化控制器 1,将按如下方式用作网关缓存:
-
使用 NVMe 控制器的 SSD。
-
-
在虚拟机网络 1 上配置网络适配器 1:
-
使用 VM 网络 1 并添加 VMXnet3 (10 Gbps) 以用于提取。
-
-
在虚拟机网络 2 上配置网络适配器 2:
-
使用 VM 网络 2 并添加 VMXnet3 (10 Gbps) 以用于连接到 Amazon。
-
-
- 使用独立物理磁盘支持网关虚拟磁盘
-
在预置网关磁盘时,我们强烈建议您不要为使用相同底层物理存储磁盘的本地存储预置本地磁盘。例如,对于 VMware ESXi,底层物理存储资源表示为数据存储。部署网关 VM 时,您可选择用来存储 VM 文件的数据存储。在预置虚拟磁盘时(例如,作为上传缓冲区),您可以将虚拟磁盘存储在与 VM 相同的数据存储中,也可以将其存储在不同的数据存储中。
如果您有多个数据存储,则强烈建议为要创建的每个类型的本地存储选择一个数据存储。仅由一个底层物理磁盘支持的数据存储可能会导致性能下降。例如,在使用此类磁盘同时支持网关设置中的缓存存储和上传缓冲区时。同样,由性能不太高的 RAID 配置(如 RAID 1)支持的数据存储可能会导致性能下降。
向应用程序环境添加资源
- 提高应用程序服务器和网关之间的带宽
-
要优化网关性能,请确保应用程序和网关之间的网络带宽可满足您的应用程序需求。您可以使用网关的
ReadBytes和WriteBytes指标来测量总数据吞吐量。对于您的应用程序,请将测得的吞吐量与所需的吞吐量进行比较。如果测得吞吐量小于预期吞吐量,那么如果网络是瓶颈,提高应用程序和网关间的带宽可改善性能。同样地,您可以增加 VM 和本地磁盘之间的带宽 (如果它们不是直接连接的)。
- 向应用程序环境添加 CPU 资源
-
如果您的应用程序可以使用额外的 CPU 资源,则添加更多 CPU 可以帮助您的应用程序扩展其 I/O 负载。
FSx 文件网关上的某些文件操作(例如顶层文件夹重命名或权限更改)可能会导致多项文件操作,从而导致适用于 Windows File Server 的 FSx 文件系统上的 I/O 负载过高。如果您的文件系统没有足够的性能资源来处理您的工作负载,则文件系统可能会删除影子副本,因为文件系统优先考虑正在进行的 I/O 的可用性,而不是保留历史影子副本。
在 Amazon FSx 控制台中,查看监控和性能页面,查看您的文件系统是否配置不足。如果是,您可以切换到 SSD 存储、增加吞吐能力或增加 SSD IOPS 来处理您的工作负载。