使用 Amazon 进行监控 CloudWatch - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Amazon 进行监控 CloudWatch

您可以使用 Amazon 监控文件系统 CloudWatch,它会收集来自 Amazon FSx for Lustre 的原始数据,并将其处理为可读的、近乎实时的指标。这些统计数据会保留 15 个月,从而使您能够访问历史信息,并能够更好地了解您的 Web 应用程序或服务的执行情况。默认情况下,Amazon FSx for Lustre 指标数据以 1 分钟为间隔自动 CloudWatch 发送到。有关的更多信息 CloudWatch,请参阅 Amazon 是什么 CloudWatch? 在《亚马逊 CloudWatch 用户指南》中。

CloudWatch 指标报告为原始字节。字节数不会舍入到十进制或二进制单位倍数。

文件系统指标

FSx for Lustre 将以下指标发布到中的命名空间FSx中。 CloudWatch对于每个指标,FSx for Lustre 每分钟为每个磁盘发出一个数据点。要查看汇总文件系统详细信息,可以使用 Sum 统计数据。请注意,FSx for Lustre 文件系统背后的文件服务器分布在多个磁盘上。

指标 描述
DataReadBytes

文件系统读取操作的字节数。

Sum 统计数据是指定时间段内与读取操作相关的总字节数。Minimum 统计数据是与单个磁盘上的读取操作相关的最小字节数。Maximum 统计数据是与磁盘上的读取操作相关的最大字节数。Average 统计数据是与每个磁盘的读取操作相关的平均字节数。SampleCount 统计数据是磁盘数。

要计算某个时段内的平均吞吐量(每秒字节数),请将 Sum 统计数据除以该时段的秒数。

单位:

  • 对于 SumMinimumMaximumAverage,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

DataWriteBytes

文件系统写入操作的字节数。

Sum 统计数据是与写入操作关联的总字节数。Minimum 统计数据是与单个磁盘上的写入操作相关的最小字节数。Maximum 统计数据是与磁盘上的写入操作相关的最大字节数。Average 统计数据是与每个磁盘的写入操作相关的平均字节数。SampleCount 统计数据是磁盘数。

要计算某个时段内的平均吞吐量(每秒字节数),请将 Sum 统计数据除以该时段的秒数。

单位:

  • 对于 SumMinimumMaximumAverage,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

DataReadOperations

读取操作数。

Sum 统计数据是读取操作总数。Minimum 统计数据是单个磁盘上的最小读取操作数。Maximum 统计数据是磁盘上的最大读取操作数。Average 统计数据是每个磁盘的平均读取操作数。SampleCount 统计数据是磁盘数。

要计算某个时段内的平均读取操作数(每秒操作数),请将 Sum 统计数据除以该时段的秒数。

单位:

  • 对于 SumMinimumMaximumAverage,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

DataWriteOperations

写入操作数。

Sum 统计数据是写入操作总数。Minimum 统计数据是单个磁盘上的最小写入操作数。Maximum统计数据是磁盘上写入操作的最大数量。Average 统计数据是每个磁盘的平均写入操作数。SampleCount 统计数据是磁盘数。

要计算某个时段内的平均写入操作数(每秒操作数),请将 Sum 统计数据除以该时段的秒数。

单位:

  • 对于 SumMinimumMaximumAverage,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

MetadataOperations

元数据操作数。

Sum 统计数据是元数据操作数。Minimum 统计数据是每个磁盘的最小元数据操作数。Maximum 统计数据是每个磁盘的最大元数据操作数。Average 统计数据是每个磁盘的平均元数据操作数。SampleCount 统计数据是磁盘数。

要计算某个时段内的平均元数据操作数(每秒操作数),请将 Sum 统计数据除以该时段的秒数。

单位:

  • 对于 SumMinimumMaximumAverageSampleCount,单位是计数。

有效统计数据:SumMinimumMaximumAverageSampleCount

FreeDataStorageCapacity

可用存储容量的大小。

Sum 统计数据是文件系统中可用的总字节数。Minimum 统计数据是最满磁盘中可用的总字节数。Maximum 统计数据是剩余可用存储空间最多的磁盘中可用的总字节数。Average 统计数据是每个磁盘的平均可用字节数。SampleCount 统计数据是磁盘数。

单位:

  • 对于 SumMinimumMaximum,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

LogicalDiskUsage

存储的逻辑数据量(未压缩)。

Sum 统计数据是文件系统中存储的逻辑字节总数。Minimum 统计数据是文件系统的磁盘中存储的最小逻辑字节数。Maximum 统计数据是文件系统的磁盘中存储的最大逻辑字节数。Average 统计数据是每个磁盘存储的平均逻辑字节数。SampleCount 统计数据是磁盘数。

单位:

  • 对于 SumMinimumMaximum,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

PhysicalDiskUsage

文件系统数据(压缩)物理占用的存储量。

Sum 统计数据是在文件系统的磁盘中占用的总字节数。Minimum 统计数据是在最空的磁盘中占用的总字节数。Maximum 统计数据是在最满的磁盘中占用的总字节数。Average 统计数据是在每个磁盘中占用的平均字节数。SampleCount 统计数据是磁盘数。

单位:

  • 对于 SumMinimumMaximum,单位为字节。

  • SampleCount 的数量。

有效统计数据:SumMinimumMaximumAverageSampleCount

文件系统元数据指标

FSx for Lustre 将以下文件系统元数据指标发布到中的命名空间FSx中。 CloudWatch这些指标使用维度来更精细地衡量您的元数据数据。所有元数据指标都有FileSystemIdStorageTargetId维度。仅当您的文件系统指定了元数据配置时,才会显示文件系统元数据指标。

指标 描述
DiskReadOperations

访问存储卷的文件服务器的读取操作数。此指标将考虑所有流量,包括后台任务。文件系统的每个存储卷每分钟都会发出一个指标。

Sum统计数据是给定存储卷在指定时间段内执行的读取操作的总数。

Average统计数据是给定存储卷在指定时间段内每分钟执行的平均读取操作数。

Minimum统计数据是给定存储卷在指定时间段内每分钟执行的最低读取操作数。

Maximum统计数据是给定存储卷在指定时间段内每分钟执行的最大读取操作数。

要计算一段时间内的平均元数据磁盘 IOPS,请使用Average统计数据并将结果除以 60(秒)。

单位:计数

有效统计数据:SumAverageMinimum、和 Maximum

DiskWriteOperations

访问存储卷的文件服务器的写入操作数。

对此存储卷的写入操作数。此指标将考虑所有流量,包括后台任务。文件系统的每个存储卷每分钟都会发出一个指标。

Sum统计数据是给定存储卷在指定时间段内执行的写入操作总数。

Average统计数据是给定存储卷在指定时间段内每分钟执行的平均写入操作数。

要计算一段时间内的平均元数据磁盘 IOPS,请使用Average统计数据并将结果除以 60(秒)。

单位:计数

有效统计数据:SumAverage

FileCreateOperations

文件创建操作的总数。

单位:计数

FileOpenOperations

打开文件操作的总数。

单位:计数

FileDeleteOperations

文件删除操作的总数。

单位:计数

StatOperations

统计操作的总数。

单位:计数

RenameOperations

目录重命名的总数,无论是就地目录重命名还是跨目录重命名。

单位:计数

AutoImport 和 AutoExport 指标

FSx for Lustre AutoImport 将以下(自动导入AutoExport)和(自动导出)指标发布到中的命名空间FSx中。 CloudWatch这些指标使用维度对您的数据进行更精细的度量。所有 AutoImportAutoExport 指标都有 FileSystemIdPublisher 维度。

指标 描述

AgeOfOldestQueuedMessage

维度:AutoExport

等待导出的最早消息的期限(以秒为单位)。

Average 统计数据是等待导出的最早消息的平均期限。Maximum 统计数据是消息在导出队列中停留的最大秒数。Minimum 统计数据是消息在导出队列中停留的最小秒数。值为零表示没有消息等待导出。

单位:秒

有效统计数据:AverageMinimumMaximum

RepositoryRenameOperations

维度:AutoExport

文件系统为响应较大的目录重命名而处理的重命名次数。

Sum 统计数据是目录重命名引起的重命名操作总数。Average 统计数据是文件系统的平均重命名操作次数。Maximum 统计数据是文件系统上与目录重命名相关的最大重命名操作次数。Minimum 统计数据是文件系统上与目录重命名相关的最小重命名操作次数。

单位:计数

有效统计数据:SumMinimumMaximumAverage

AgeOfOldestQueuedMessage

维度:AutoImport

等待导入的最早消息的期限(以秒为单位)。

Average 统计数据是等待导入的最早消息的平均期限。Maximum 统计数据是消息在导入队列中停留的最大秒数。Minimum 统计数据是消息在导入队列中停留的最小秒数。值为零表示没有消息等待导入。

单位:秒

有效统计数据:AverageMinimumMaximum

Amazon FSx for Lustre 维度

Amazon FSx for Lustre 指标使用 FSx 命名空间并为维度 FileSystemId 提供指标。可以使用describe-file-systems Amazon CLI 命令找到文件系统的 ID,其形式为 fs-0 1234567890123456。

StorageTargetId维度可用于表示哪 CloudWatch 个 MDT(元数据目标)发布了文件系统元数据指标。A 的StorageTargetId形式为MDTxxxx(例如,MDT0001)。

Publisher维度可在 CloudWatch AutoImportAutoImport指标中找到, Amazon CLI 用于表示哪个服务发布了这些指标。