性能和优化 - Amazon Storage Gatewa
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

性能和优化

本节介绍优化文件网关性能的指导和最佳实践。

S3 文件网关网关的基本性能指南

在本节中,您可以找到有关为 S3 文件网关虚拟机配置硬件的指南。表中列出的实例配置仅为示例,仅供参考。

为获得最佳性能,必须将缓存磁盘大小调整为活动工作集的大小。使用多个本地磁盘进行缓存时,可以通过并行访问数据来提高写入性能,从而提高 IOPS。

注意

我们建议您不要使用短暂存储。有关使用短暂存储的更多信息,请参阅将临时存储与网关一起使用 EC2

对于 Amazon EC2 实例,如果您的 S3 存储桶中有超过 500 万个对象,并且您使用的是通用型 SSD 卷,则至少需要 350 GiB 的根 EBS 卷才能在启动期间保持可接受的网关性能。有关如何增加卷大小的信息,请参阅使用弹性卷修改 EBS 卷(控制台)

连接到 File Gateway 的文件共享文件中各个目录的建议大小限制为每个目录 10,000 个文件。您可以将文件网关用于包含超过 10,000 个文件的目录,但性能可能会受到影响。

在下表中,缓存命中读取操作是从缓存中提供的文件共享中读取的内容。缓存未读操作是从 Amazon S3 提供的文件共享中读取的内容。

下表显示了 S3 文件网关配置示例。

Linux 客户端上的 S3 文件网关性能

示例配置 协议 写入吞吐量(文件大小 1 GB) 缓存命中读取吞吐量 缓存错过读取吞吐量

根磁盘:80 GB,io1 SSD,4000 IOPS

缓存磁盘:512 GiB 缓存、io1、1,500 预配置 IOPS

最低网络性能:10 Gbps

CPU:16 个 vCPU | RAM:32 GB

推荐在 Linux 上使用 NFS 协议

NFSv3 -1 个话题 110 MiB/sec (0.92 Gbps) 590 MiB/sec (4.9 Gbps) 310 MiB/sec (2.6 Gbps)
NFSv3 -8 个话题 160 MiB/sec (1.3 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)
NFSv4 -1 个话题 130 MiB/sec (1.1 Gbps) 590 MiB/sec (4.9 Gbps) 295 MiB/sec (2.5 Gbps)
NFSv4 -8 个话题 160 MiB/sec (1.3 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)
SMBV3 -1 个话题 115 MiB/sec (1.0 Gbps) 325 MiB/sec (2.7 Gbps) 255 MiB/sec (2.1 Gbps)
SMBV3 -8 个话题 190 MiB/sec (1.6 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)

存储网关硬件设备

最低网络性能:10 Gbps

NFSv3 -1 个话题 265 MiB/sec (2.2 Gbps) 590 MiB/sec (4.9 Gbps) 310 MiB/sec (2.6 Gbps)
NFSv3 -8 个话题 385 MiB/sec (3.1 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)
NFSv4 -1 个话题 310 MiB/sec (2.6 Gbps) 590 MiB/sec (4.9 Gbps) 295 MiB/sec (2.5 Gbps)
NFSv4 -8 个话题 385 MiB/sec (3.1 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)
SMBV3 -1 个话题 275 MiB/sec (2.4 Gbps) 325 MiB/sec (2.7 Gbps) 255 MiB/sec (2.1 Gbps)
SMBV3 -8 个话题 455 MiB/sec (3.8 Gbps) 590 MiB/sec (4.9 Gbps) 335 MiB/sec (2.8 Gbps)

根磁盘:80 GB,io1 SSD,4000 IOPS

缓存磁盘:4 x 2 TB NVME 缓存磁盘

最低网络性能:10 Gbps

CPU:32 vCPU | 内存:244 GB

推荐在 Linux 上使用 NFS 协议

NFSv3 -1 个话题 300 MiB/sec (2.5 Gbps) 590 MiB/sec (4.9 Gbps) 325 MiB/sec (2.7 Gbps)
NFSv3 -8 个话题 585 MiB/sec (4.9 Gbps) 590 MiB/sec (4.9 Gbps) 580 MiB/sec (4.8 Gbps)
NFSv4 -1 个话题 355 MiB/sec (3.0 Gbps) 590 MiB/sec (4.9 Gbps) 340 MiB/sec (2.9 Gbps)
NFSv4 -8 个话题 575 MiB/sec (4.8 Gbps) 590 MiB/sec (4.9 Gbps) 575 MiB/sec (4.8 Gbps)
SMBV3 -1 个话题 230 MiB/sec (1.9 Gbps) 325 MiB/sec (2.7 Gbps) 245 MiB/sec (2.0 Gbps)
SMBV3 -8 个话题 585 MiB/sec (4.9 Gbps) 590 MiB/sec (4.9 Gbps) 580 MiB/sec (4.8 Gbps)

Windows 客户端上的文件网关性能

示例配置 协议 写入吞吐量(文件大小 1 GB) 缓存命中读取吞吐量 缓存错过读取吞吐量

根磁盘:80 GB,io1 SSD,4000 IOPS

缓存磁盘:512 GiB 缓存、io1、1,500 预配置 IOPS

最低网络性能:10 Gbps

CPU:16 个 vCPU | RAM:32 GB

建议在 Windows 上使用 SMB 协议

SMBV3 -1 个话题 150 MiB/sec (1.3 Gbps) 180 MiB/sec (1.5 Gbps) 20 MiB/sec (0.2 Gbps)
SMBV3 -8 个话题 190 MiB/sec (1.6 Gbps) 335 MiB/sec (2.8 Gbps) 195 MiB/sec (1.6 Gbps)
NFSv3 -1 个话题 95 MiB/sec (0.8 Gbps) 130 MiB/sec (1.1 Gbps) 20 MiB/sec (0.2 Gbps)
NFSv3 -8 个话题 190 MiB/sec (1.6 Gbps) 330 MiB/sec (2.8 Gbps) 190 MiB/sec (1.6 Gbps)

存储网关硬件设备

最低网络性能:10 Gbps

SMBV3 -1 个话题 230 MiB/sec (1.9 Gbps) 255 MiB/sec (2.1 Gbps) 20 MiB/sec (0.2 Gbps)
SMBV3 -8 个话题 835 MiB/sec (7.0 Gbps) 475 MiB/sec (4.0 Gbps) 195 MiB/sec (1.6 Gbps)
NFSv3 -1 个话题 135 MiB/sec (1.1 Gbps) 185 MiB/sec (1.6 Gbps) 20 MiB/sec (0.2 Gbps)
NFSv3 -8 个话题 545 MiB/sec (4.6 Gbps) 470 MiB/sec (4.0 Gbps) 190 MiB/sec (1.6 Gbps)

根磁盘:80 GB,io1 SSD,4000 IOPS

缓存磁盘:4 x 2 TB NVME 缓存磁盘

最低网络性能:10 Gbps

CPU:32 vCPU | 内存:244 GB

建议在 Windows 上使用 SMB 协议

SMBV3 -1 个话题 230 MiB/sec (1.9 Gbps) 265 MiB/sec (2.2 Gbps) 30 MiB/sec (0.3 Gbps)
SMBV3 -8 个话题 835 MiB/sec (7.0 Gbps) 780 MiB/sec (6.5 Gbps) 250 MiB/sec (2.1 Gbps)
NFSv3 -1 个话题 135 MiB/sec (1.1。 Gbps) 220 MiB/sec (1.8 Gbps) 30 MiB/sec (0.3 Gbps)
NFSv3 -8 个话题 545 MiB/sec (4.6 Gbps) 570 MiB/sec (4.8 Gbps) 240 MiB/sec (2.0 Gbps)
注意

您的性能可能因主机平台配置和网络带宽而异。写入吞吐量性能会随着文件大小而降低,小文件(小于 32MiB)可实现的最高吞吐量为每秒 16 个文件。

具有多个文件共享的网关的性能指南

Amazon S3 文件网关支持将多达 50 个文件共享连接到单个 Storage Gateway 设备。通过为每个网关添加多个文件共享,您可以支持更多的用户和工作负载,同时管理更少的网关和虚拟硬件资源。除其他因素外,网关管理的文件共享数量也会影响该网关的性能。本节介绍网关性能将如何根据附加文件共享的数量而变化,并推荐虚拟硬件配置,以优化管理多个共享的网关的性能。

通常,增加由单个 Storage Gateway 管理的文件共享数量可能会产生以下后果:

  • 重新启动网关所需的时间增加。

  • 提高了 vCPU 和 RAM 等虚拟硬件资源的利用率。

  • 如果虚拟硬件资源饱和,数据和元数据操作的性能就会降低。

下表列出了管理多个文件共享的网关的推荐虚拟硬件配置:

每个网关的文件共享量 推荐的网关容量设置 推荐的 vCPU 内核 推荐的内存 建议的磁盘大小

1-10

小型

4(EC2 实例类型 m4.xlarge 或更高版本)

16 GiB

80 GiB

10–20

8(EC2 实例类型 m4.2x large 或更大)

32 GiB

160 GiB

20+

大型

16(EC2 实例类型 m4.4x large 或更大)

64 GiB

240 GiB

除了上面推荐的虚拟硬件配置外,我们还推荐以下最佳做法来配置和维护管理多个文件共享的 Storage Gateway 设备:

  • 请考虑文件共享数量与网关虚拟硬件需求之间的关系不一定是线性的。某些文件共享可能会比其他文件共享产生更大的吞吐量,因此对硬件的需求也更多。上表中的建议基于最大硬件容量和不同的文件共享吞吐量级别。

  • 如果您发现向单个网关添加多个文件共享会降低性能,请考虑将最活跃的文件共享移至其他网关。特别是,如果 very-high-throughput应用程序使用文件共享,请考虑为该文件共享创建一个单独的网关。

  • 我们不建议为多个高吞吐量应用程序配置一个网关,而为多个低吞吐量应用程序配置另一个网关。相反,请尝试在网关之间均匀分布高吞吐量和低吞吐量的文件共享,以平衡硬件饱和度。要衡量您的文件共享吞吐量,请使用ReadBytesWriteBytes指标。有关更多信息,请参阅了解文件共享指标