管理存储和吞吐量容量 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理存储和吞吐量容量

如果需要额外的存储空间和吞吐量,您可以增加 FSx 上为 Lustre 文件系统配置的存储容量。由于 Lustre 文件系统的 FSx 吞吐量随存储容量线性扩展,因此吞吐容量也可以相应地增加。要增加存储容量,您可以使用 Amazon FSx 控制台,Amazon Command Line Interface(Amazon CLI) 或者亚马逊 FSx API。

当您请求更新文件系统的存储容量时,Amazon FSx 会自动添加新的网络文件服务器并扩展元数据服务器。在扩展存储容量的同时,文件系统可能会在几分钟内无法使用。在文件系统不可用时,客户端发出的文件操作将透明地重试,并在存储扩展完成后最终成功。在文件系统不可用期间,文件系统状态设置为UPDATING. 存储扩展完成后,文件系统状态将设置为AVAILABLE.

然后,Amazon FSx 会运行存储优化流程,以透明方式在现有和新添加的文件服务器之间重新平衡数据。重新平衡在后台执行,不会影响文件系统可用性。在重新平衡期间,随着资源被用于数据移动,您可能会看到文件系统性能下降。对于大多数文件系统,存储优化需要几个小时至几天。您可以在优化阶段访问和使用文件系统。

您可以随时使用 Amazon FSx 控制台、CLI 和 API 跟踪存储优化进度。有关更多信息,请参阅 监控存储容量的增加

增加存储容量时需要知道的重要点

以下是增加存储容量时需要考虑的几个重要事项:

  • 仅增加— 您只能增加文件系统的存储容量;不能减少存储容量。

  • 增加增量— 增加存储容量时,请使用中列出的增量添加存储容量“对话框”。

  • 增长之间的时间— 在请求最后一次增加后 6 个小时或存储优化过程完成之前,无法在文件系统上进一步增加存储容量,以较长的时间为准。

  • 吞吐量容量— 亚马逊 FSx 控制台,Amazon CLI,而且 Amazon FSx API 不允许您指定所需的吞吐量水平。但是,当你增加存储容量时,你会自动增加吞吐量容量。对于具有 SSD 缓存的永久性硬盘文件系统,读缓存存储容量也同样增加,以维持大小为 HDD 存储容量 20% 的 SSD 缓存。Amazon FSx 计算存储和吞吐量容量单位的新值,并将其列入添加存储容量“对话框”。

  • Deployment type (部署类型)— 您可以增加所有部署类型的存储容量。

何时增加存储和吞吐量容量

当文件系统的可用存储容量不足时,请增加文件系统的存储容量。使用FreeStorageCapacity CloudWatch 用于监控文件系统上可用的可用存储空间量的指标。您可以针对此指标创建 Amazon CloudWatch 警报,并在其降至特定阈值以下时收到通知。有关更多信息,请参阅 使用 Amazon CloudWatch 监控

您可以使用 CloudWatch 用于监控文件系统持续吞吐量使用水平的指标。如果您确定文件系统需要更高的吞吐量容量,则可以使用指标信息来帮助您决定增加多少存储容量。有关如何确定文件系统的当前吞吐量的信息,请参阅如何使用 Amazon FSx for Lustre 指标. 有关存储容量如何影响吞吐量容量的信息,请参阅Amazon FSx for Lustre 性能.

您还可以在摘要文件系统详细信息页面的面板。

如何处理并发存储扩展和备份请求

您可以在存储扩展工作流开始之前或进行中请求备份。Amazon FSx 处理这两个请求的顺序如下:

  • 如果存储扩展工作流程正在进行中(存储扩展状态为IN_PROGRESS文件系统状态为UPDATING) 然后您请求备份,则备份请求已排队。当存储扩展处于存储优化阶段(存储扩展状态为)时,将启动备份任务UPDATED_OPTIMIZING文件系统状态为AVAILABLE)。

  • 如果备份正在进行中(备份状态为CREATING) 而且您请求存储扩展时,存储扩展请求将排队。当 Amazon FSx 将备份转移到 Amazon S3 时启动存储扩展工作流程(备份状态为TRANSFERRING)。

如果存储扩展请求处于待处理状态,且文件系统备份请求也处于待处理状态,则备份任务的优先级更高。在备份任务完成之前,存储扩展任务才会启动。

如何增加存储容量

您可以使用 Amazon FSx 控制台来增加文件系统的存储容量Amazon CLI,或者亚马逊 FSx API。

  1. 在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 导航到文件系统,然后选择要增加其存储容量的 Lustre 文件系统。

  3. 适用于操作,选择更新存储容量. 或者,在摘要面板,选择更新旁边的文件系统存储容量显示添加存储容量“对话框”。

    
                   显示更新存储容量窗格的控制台屏幕截图
  4. 适用于所需的存储容量中,提供大于文件系统当前存储容量的新存储容量(以 GiB 为单位):

    • 对于持久性 SSD 文件系统,此值必须是 2400 GiB 的倍数。

    • 对于持久性 HDD 文件系统,如果是 12 MB/s/TiB 文件系统,则此值必须是以 6000 GiB 为单位;而如果是 40 MB/s/TiB 文件系统,则此值必须是 1800 GiB 的倍数。

  5. 选择更新以启动存储容量更新。

  6. 您可以在文件系统详细信息页面上监控更新进度更新选项卡。

要为 Lustre 文件系统增加 FSx 的存储容量,请使用Amazon CLI命令更新文件系统. 设置以下参数:

  • Set--file-system-id添加到要更新的文件系统的 ID。

  • Set--storage-capacity到一个整数值,即存储容量增加的数量(以 GiB 为单位)。对于持久性 SSD 文件系统,此值必须是 2400 的倍数。对于持久性 HDD 文件系统,如果是 12 MB/s/TiB 文件系统,则此值必须是以 6000 倍为单位;而如果是 40 MB/s/TiB 文件系统,则此值必须是 1800 倍。新的目标值必须大于文件系统的当前存储容量。

此命令指定持久性 SSD 文件系统的存储容量目标值为 9600 GiB。

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --storage-capacity 9600

您可以使用Amazon CLI命令描述文件系统. 查找administrative-actions在输出中。

有关更多信息,请参阅 。管理操作.

监控存储容量的增加

您可以使用 Amazon FSx 控制台、API 或Amazon CLI.

更新选项卡中的文件系统详细信息页面中,您可以查看每种更新类型的 10 个最近更新。


                    显示最近更新的控制台屏幕截图

您可以查看以下信息:

更新类型

支持的类型包括存储容量存储优化.

Target value (目标值)

将文件系统的存储容量更新为的所需值。

状态

存储容量的当前状态。可能的值如下所示:

  • Pending— 亚马逊 FSx 已收到更新请求,但尚未开始处理。

  • 正在进行中— 亚马逊 FSx 正在处理更新请求。

  • 已更新;优化— Amazon FSx 增加了文件系统的存储容量。存储优化过程现在正在跨文件服务器重新平衡数据。

  • 已完成— 存储容量增加已成功完成。

  • 已失败— 存储容量增加失败。选择问号 (?) 以查看有关存储更新失败原因的详细信息。

进度%

将存储优化过程的进度显示为完成百分比。

请求时间

亚马逊 FSx 收到更新操作请求的时间。

您可以使用描述文件系统 Amazon CLI命令和DescribeFileSystemsAPI 操作。这些区域有:AdministrativeActions阵列列出了每种管理操作类型的 10 个最近更新操作。当你增加文件系统的存储容量时,两个AdministrativeActions生成:aFILE_SYSTEM_UPDATESTORAGE_OPTIMIZATIONaction.

以下示例显示了响应摘录describe-file-systemsCLI 命令。文件系统的存储容量为 4800 GB,还有待执行将存储容量增加到 9600 GB 的管理措施。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 4800, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1581694764.757, "Status": "PENDING", "TargetFileSystemValues": { "StorageCapacity": 9600 } }, { "AdministrativeActionType": "STORAGE_OPTIMIZATION", "RequestTime": 1581694764.757, "Status": "PENDING", } ]

Amazon FSx 处理FILE_SYSTEM_UPDATE首先操作,将新的文件服务器添加到文件系统。当文件系统可用新存储时,FILE_SYSTEM_UPDATE状态将更改为UPDATED_OPTIMIZING. 存储容量显示了新的更大价值,Amazon FSx 开始处理STORAGE_OPTIMIZATION行政操作。以下答复摘录显示了这一点。describe-file-systemsCLI 命令。

这些区域有:ProgressPercent属性显示存储优化过程的进度。存储优化过程成功完成后,FILE_SYSTEM_UPDATE操作更改为COMPLETED,以及STORAGE_OPTIMIZATION动作不再出现。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 9600, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1581694764.757, "Status": "UPDATED_OPTIMIZING", "TargetFileSystemValues": { "StorageCapacity": 9600 } }, { "AdministrativeActionType": "STORAGE_OPTIMIZATION", "RequestTime": 1581694764.757, "Status": "IN_PROGRESS", "ProgressPercent": 50, } ]

如果存储容量增加失败,则FILE_SYSTEM_UPDATE操作更改为FAILED. 这些区域有:FailureDetails属性提供了有关故障的信息,如以下示例所示。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 4800, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "FailureDetails": { "Message": "string" }, "RequestTime": 1581694764.757, "Status": "FAILED", "TargetFileSystemValues": "StorageCapacity": 9600 } ]