管理存储和吞吐量容量 - Amazon FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理存储和吞吐量容量

当您需要额外的存储和吞吐量时,您可以增加 Amazon FSx for Lustre 文件系统上配置的存储容量。由于 Amazon FSx to Lustre 文件系统的吞吐量会随存储容量而线性扩展,因此您的吞吐容量也会获得相当的增长。要增加存储容量,您可以使用 Amazon FSX 控制台、Amazon Command Line Interface(Amazon CLI)或亚马逊 FSX API。

当您请求更新文件系统的存储容量时,Amazon FSX 会自动添加新的网络文件服务器并扩展元数据服务器。扩展存储容量时,文件系统可能会在几分钟内不可用。客户端在文件系统不可用时发出的文件操作将透明地重试,并在存储扩展完成后最终成功。在文件系统不可用期间,文件系统状态设置为UPDATING。存储扩展完成后,文件系统状态设置为AVAILABLE

然后,Amazon FSX 会运行一个存储优化流程,在现有文件服务器和新添加的文件服务器之间透明地重新平衡数据。重新平衡是在后台执行的,不会影响文件系统的可用性。在重新平衡期间,您可能会看到文件系统性能下降,因为数据移动消耗了资源。对于大多数文件系统,存储优化需要几个小时,最多几天。您可以在优化阶段访问和使用您的文件系统。

您可以随时使用 Amazon FSX 控制台、CLI 和 API 跟踪存储优化进度。有关更多信息,请参阅 监控存储容量增加

增加存储容量时需要了解的重要事项

以下是增加存储容量时需要考虑的一些重要事项:

  • 仅增加— 您只能增加文件系统的存储容量;不能减少存储容量。

  • 增加增量— 增加存储容量时,请使用增加存储容量对话框。

  • 增加之间的时间— 您不能在文件系统上进一步增加存储容量,直到请求上次增加 6 小时,或者在存储优化过程完成之前(以较长时间为准)。

  • 吞吐容量— 亚马逊 FSX 控制台,Amazon CLI,而 Amazon FSX API 不允许您指定所需的吞吐量级别。但是,当您增加存储容量时,您会自动增加吞吐量容量。对于具有 SSD 缓存的持久 HDD 文件系统,读缓存存储容量也会同样增加,以维护 SSD 高速缓存的大小为 HDD 存储容量的 20%。Amazon FSX 计算存储容量和吞吐容量单位的新值,并将其列在增加存储容量对话框。

  • Deployment type (部署类型)— 您可以增加所有部署类型的存储容量。

何时增加存储和吞吐量

当文件系统的可用存储容量不足时,增加其存储容量。使用FreeStorageCapacityCloudWatch 衡量指标,用于监视文件系统上可用的可用存储量。您可以针对此指标创建 Amazon CloudWatch 警报,并在其降至特定阈值以下时收到通知。有关更多信息,请参阅 使用 Amazon CloudWatch 进行监控

您可以使用 CloudWatch 指标监控文件系统的持续吞吐量使用率级别。如果确定文件系统需要更高的吞吐量容量,则可以使用指标信息帮助您决定增加存储容量的容量。有关如何确定文件系统当前吞吐量的信息,请参阅如何使用 Amazon FSx for Lustre 指标。有关存储容量如何影响吞吐量容量的信息,请参阅Amazon FSx for Lustre 性能

您还可以查看文件系统的存储容量和总吞吐量摘要面板中的文件系统详细信息页面。

如何处理并发存储扩展和备份请求

您可以在存储扩展工作流开始之前或正在进行的时候请求备份。Amazon FSX 处理这两个请求的顺序如下:

  • 如果正在进行存储扩展工作流(存储扩展状态为IN_PROGRESS,文件系统状态为UPDATING)并且您请求备份,则备份请求将排队。当存储扩展处于存储优化阶段时启动备份任务(存储扩展状态为UPDATED_OPTIMIZING,文件系统状态为AVAILABLE)。

  • 如果备份正在进行中(备份状态为CREATING)并且您请求存储扩展,则存储扩展请求将排队。当 Amazon FSX 将备份传输到 Amazon S3 时,将启动存储扩展工作流程(备份状态为TRANSFERRING)。

如果存储扩展请求处于挂起状态,并且文件系统备份请求也处于挂起状态,则备份任务的优先级更高。在备份任务完成之前,存储扩展任务不会启动。

如何增加存储容量

您可以使用 Amazon FSX 控制台(Amazon CLI或亚马逊 FSX API。

  1. 打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/

  2. 导航到文件系统,然后选择要增加存储容量的 Lustre 文件系统。

  3. 适用于操作中,选择更新存储容量。或者,在摘要面板中,选择更新旁边的文件系统存储容量以显示增加存储容量对话框。

    
                   显示 “更新存储容量” 窗格的控制台屏幕截图。
  4. 适用于所需存储容量,以 GiB 为单位提供大于文件系统当前存储容量的新存储容量:

    • 对于持久 SSD 文件系统,此值必须以 2400 GiB 的倍数为单位。

    • 对于持久硬盘文件系统,如果是 12 MB/s/TiB 文件系统,则此值必须是 6000 GiB 的倍数;而如果是 40 MB/s/TiB 文件系统,则此值必须是 1800 GiB 的倍数。

  5. 选择更新启动存储容量更新。

  6. 您可以在文件系统详细信息页面上监视更新进度更新选项卡。

要增加 Amazon FSx 适用于 Lustre 文件系统的存储容量,请使用Amazon CLI命令更新文件系统。设置以下参数:

  • Set--file-system-id添加到要更新的文件系统的 ID。

  • Set--storage-capacity设置为一个整数值,该值是存储容量增加量(以 GiB 为单位)。对于持久 SSD 文件系统,此值必须为 2400 的倍数。对于持久硬盘文件系统,如果是 12 MB/s/TiB 文件系统,则此值必须是 6000 的倍数;而如果是 40 MB/s/TiB 文件系统,则此值必须是 1800 倍数。新目标值必须大于文件系统的当前存储容量。

此命令为持久 SSD 文件系统指定存储容量目标值 9600 GiB。

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --storage-capacity 9600

您可以使用Amazon CLI命令描述文件系统。寻找administrative-actions在输出中。

有关更多信息,请参阅 。行政操作

监控存储容量增加

您可以使用 Amazon FSX 控制台、API 或Amazon CLI。

更新选项卡上,您可以查看每种更新类型的 10 个最新更新。


                    显示最近更新列表的控制台屏幕截图。

您可以查看以下信息:

更新类型

支持的类型为存储容量存储优化

Target value (目标值)

将文件系统的存储容量更新为所需的值。

状态

存储容量的当前状态更新。可能的值如下所示:

  • Pending— 卓越亚马逊 FSX 已收到更新请求,但尚未开始处理它。

  • 正在进行中— 亚马逊 FSX 正在处理更新请求。

  • 已更新;优化— Amazon FSX 增加了文件系统的存储容量。存储优化过程现在正在跨文件服务器重新平衡数据。

  • 已完成— 存储容量增加已成功完成。

  • 已失败— 存储容量增加失败。选择问号 (?),查看有关存储更新失败原因的详细信息。

进度%

以完成百分比形式显示存储优化过程的进度。

请求时间

亚马逊 FSX 收到更新操作请求的时间。

您可以使用描述文件系统 Amazon CLI命令和DescribeFileSystemsAPI 操作。这些区域有:AdministrativeActions数组列出了每种管理操作类型的 10 个最新更新操作。增加文件系统的存储容量时,会有两个AdministrativeActions生成:FILE_SYSTEM_UPDATESTORAGE_OPTIMIZATIONaction.

以下示例显示了describe-file-systemsCLI 命令。文件系统的存储容量为 4800 GB,并且有待执行的管理操作将存储容量增加到 9600 GB。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 4800, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1581694764.757, "Status": "PENDING", "TargetFileSystemValues": { "StorageCapacity": 9600 } }, { "AdministrativeActionType": "STORAGE_OPTIMIZATION", "RequestTime": 1581694764.757, "Status": "PENDING", } ]

Amazon FSx 处理FILE_SYSTEM_UPDATE操作,将新文件服务器添加到文件系统中。当新存储可用于文件系统时,FILE_SYSTEM_UPDATE状态将变为UPDATED_OPTIMIZING。存储容量显示新的较大值,Amazon FSX 开始处理STORAGE_OPTIMIZATION行政行动. 以下摘录显示了这一点。describe-file-systemsCLI 命令。

这些区域有:ProgressPercent属性显示存储优化过程的进度。存储优化过程成功完成后,FILE_SYSTEM_UPDATE操作更改为COMPLETED,以及STORAGE_OPTIMIZATION操作不再显示。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 9600, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1581694764.757, "Status": "UPDATED_OPTIMIZING", "TargetFileSystemValues": { "StorageCapacity": 9600 } }, { "AdministrativeActionType": "STORAGE_OPTIMIZATION", "RequestTime": 1581694764.757, "Status": "IN_PROGRESS", "ProgressPercent": 50, } ]

如果存储容量增加失败,则FILE_SYSTEM_UPDATE操作更改为FAILED。这些区域有:FailureDetails属性提供有关故障的信息,如以下示例所示。

{ "FileSystems": [ { "OwnerId": "111122223333", . . . "StorageCapacity": 4800, "AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "FailureDetails": { "Message": "string" }, "RequestTime": 1581694764.757, "Status": "FAILED", "TargetFileSystemValues": "StorageCapacity": 9600 } ]