View a markdown version of this page

海王星存储使用情况明细 - Amazon Neptune
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

海王星存储使用情况明细

随着 GetStorageInfo API,您可以获取 Neptune 数据库存储使用情况的详细明细,包括撤消日志、字典条目、变更流数据、DFE 统计信息、属性图架构、其他内部元数据表以及按属性图 (PG) 和资源描述框架 (RDF) 分组的所有四边形索引。该回应还包括 totalStorageBytesUsed 汇总报告的磁盘上组件的值。您可以使用这些信息来了解存储空间的分布情况,识别存储膨胀情况,并在存储膨胀之前和之后建立基准 在线索引重建。

使用 GetStorageInfo 在以下情况下:

  • 了解您的存储空间如何分布在索引和字典中。

  • 识别批量删除或数据迁移后的存储空间膨胀。

  • 在索引重建之前和之后建立基线。

  • 监控一段时间内的存储趋势。

先决条件

引擎版本

这个 GetStorageInfo API 需要海王星引擎版本 1.5.0.0 或更高版本。

IAM 权限

如果您的集群使用 IAM 身份验证,则附加到请求主体的 IAM 策略必须允许 neptune-db:GetStorageInfo 行动:

{ "Effect": "Allow", "Action": ["neptune-db:GetStorageInfo"], "Resource": "arn:aws:neptune-db:<region>:<account-id>:<cluster-resource-id>/*" }

有关数据平面 IAM 操作的更多信息,请参阅 用于在 Amazon Neptune 中访问数据的 IAM 操作。

请求

要检索存储信息,请发送 HTTP GET 向 /storage/info 终点。该请求没有正文,也没有查询参数。

Amazon CLI
aws neptunedata get-storage-info \ --endpoint-url https://your-neptune-endpoint:port

有关更多信息,请参阅 获取存储信息 在 Amazon CLI 命令参考。

SDK
import boto3 import json from botocore.config import Config client = boto3.client( 'neptunedata', endpoint_url='https://your-neptune-endpoint:port', config=Config(read_timeout=None, retries={'total_max_attempts': 1}) ) response = client.get_storage_info() print(json.dumps(response, indent=2, default=str))
awscurl
awscurl https://your-neptune-endpoint:port/storage/info \ --region us-east-1 \ --service neptune-db
先决条件

这个例子假设你的 Amazon 证书是在您的环境中配置的。替换 us-east-1 使用您的 Neptune 集群所在的区域。

curl
curl -G https://your-neptune-endpoint:port/storage/info

响应

这个 GetStorageInfo API 返回 JSON 响应,报告每个 Neptune 内部组件使用的磁盘存储空间:字典、撤消日志、变更流、DFE 统计信息、属性图架构、其他内部元数据表以及每个四边形索引。海王星报告了以下每个数据模型的四边形索引大小 PG (属性图)和 RDF,并且仅在索引包含数据时才包含索引。当以下顶级部分为空时,Neptune 会在响应中省略这些部分: dictionaries.blobs, streams, dfeStatistics, schema,以及 internals。

以下示例显示了属性图群集的响应。由于此集群仅包含属性图数据,因此 RDF 对象未出现在响应中。

{ "totalStorageBytesUsed": 955367424, "dictionaries": { "total": { "sizeInBytes": 259080192, "count": 653990 }, "blobs": { "sizeInBytes": 54657024, "count": 22323 } }, "undoLogs": { "sizeInBytes": 150994944, "listSize": 2290 }, "streams": { "sizeInBytes": 77594624, "count": 1238185 }, "dfeStatistics": { "sizeInBytes": 229376, "count": 813 }, "schema": { "sizeInBytes": 65536, "count": 154 }, "internals": { "sizeInBytes": 753664, "count": 202 }, "quads": { "PG": { "SPOG": { "sizeInBytes": 177995776, "count": 1222436 }, "POGS": { "sizeInBytes": 96534528, "count": 1222436 }, "GPSO": { "sizeInBytes": 79036416, "count": 1222436 }, "OSGP": { "sizeInBytes": 104071168, "count": 1222436 }, "PZSOG": { "sizeInBytes": 9011200, "count": 61149 } } } }

响应包含以下字段:

Section 字段 说明
(顶级) totalStorageBytesUsed 海王星使用的磁盘存储总量。这是总和 sizeInBytes 的价值观 dictionaries.total, undoLogs, streams, dfeStatistics, schema, internals,以及每个四边形索引。 dictionaries.blobs 已经包含在 dictionaries.total,因此不会再次添加。总数还包括因为空而从响应中省略的分量,因此可能略大于所示值的总和。
dictionaries.total count / sizeInBytes 不同词典条目的大致数量及其总存储大小。Neptune 会无限期地保留唯一的字典条目,因此此计数可能无法反映您的数据当前引用的条目数量。
dictionaries.blobs count / sizeInBytes 存储为 blob 的字典条目的大致数量及其存储大小(值太大而无法内联)。这些条目是的子集 dictionaries.total。当没有 blob 条目时省略。
undoLogs sizeInBytes 为 Neptune 交易系统分配的存储空间以跟踪修改。该值反映了撤消表空间的当前磁盘大小,该大小会随着时间的推移而增长并且不会自动缩小。
undoLogs listSize 当前尚未清除的未提交撤消记录的数量。该值反映了 UndoLogListSize CloudWatch 公制。由于 Neptune 会在后台异步清除撤消条目,因此该值在活跃的写入工作负载下会迅速波动。
streams count / sizeInBytes 海王星变更日志流中的大致记录数及其存储大小。有关更多信息,请参阅 使用 Neptune Streams 实时捕获图形更改。当未启用 Neptune 直播或直播为空时省略。
dfeStatistics count / sizeInBytes DFE 统计表中的近似行数及其存储大小。有关更多信息,请参阅 管理 Neptune DFE 要使用的统计数据。未计算任何统计数据时省略。
schema count / sizeInBytes 属性图架构表(标签、属性键和边缘元数据)中的大致行数及其存储大小。当群集不包含属性图数据时省略。
internals count / sizeInBytes 其他 Neptune 内部元数据表中的大致行数及其存储大小。为空时省略。
quads.PG.* count / sizeInBytes 每个属性图索引(Gremlin 和 OpenCypher)的条目数和存储大小: SPOG, POGS, GPSO, OSGP,以及 PZSOG。
quads.RDF.* count / sizeInBytes 每个 RDF 索引 (SPARQL) 的条目数和存储大小: SPOG, POGS, GPSO, OSGP,以及 PZSOG。

请注意以下有关响应的内容:

  • Neptune 省略了任何顶级章节或每个索引的条目 count 是 0。缺少条目表示该组件不包含任何数据。两者都是 PG 和 RDF 如果您的集群在两个数据模型中都有数据,则可能会出现对象。

  • 这个 OSGP 索引是可选的。有关 Neptune 存储的更多信息,请参见 海王星存储。

  • 这个 PZSOG 除非在集群上填充了索引,否则索引不存在。从发布引擎开始 1.4.7.0,那个 PZSOG 默认情况下,所有客户都启用索引。

解释价值观

这个 sizeInBytes 值反映了响应时每个组件的磁盘分配。这个 count 值是近似值。海王星从InnoDB行数统计数据中获取它们,海王星会定期刷新这些统计信息。这些统计数据可能会偏离真实值,尤其是在大量摄取或删除工作负载之后。对于 SPOG, POGS, GPSO,以及 OSGP 四重索引, count 是这四个指数的统一近似值; PZSOG 索引报告自己的计数。有关 Neptune 如何刷新这些统计数据的详细信息,请参阅 管理 Neptune DFE 要使用的统计数据。使用 GetStorageInfo 了解存储空间在索引和字典中的相对分布,然后使用 VolumeBytesUsed 用于计费和容量规划。

计算图表元素

如果您需要统计图表中的顶点、边或其他元素,请使用图表摘要 API 而不是 GetStorageInfo。图表摘要 API 报告属性图的节点、边和属性计数,或 RDF 图的四边形、主题和谓词计数。您可以在调用统计数据更新之前手动触发统计数据更新,以获取可能的最新值。有关更多信息,请参阅 获取有关图形的快速摘要报告。

GetStorageInfo 对 VolumeBytesUsed

报告的尺码是 GetStorageInfo 预计加起来不会等于 CloudWatch VolumeBytesUsed 公制。 GetStorageInfo 报告特定 Neptune 组件消耗的逻辑存储,而 VolumeBytesUsed 反映了按卷级别计费的物理存储总量。该卷还包含内部开销,这些开销不归因于中的任何组件 GetStorageInfo 回应,包括:

  • Block-level 分配

  • 系统元数据

  • 事务和重做日志

  • 用于持续运营的临时空间

  • 已分配但尚未回收的空间

使用 GetStorageInfo 了解存储空间在索引和字典中的相对分布,然后使用 VolumeBytesUsed 用于计费和容量规划。

错误

下表列出了以下错误 GetStorageInfo 可以返回。

HTTP 状态 错误代码 说明
403 AccessDeniedException 该请求没有所需的 IAM 权限。
404 ResourceNotFoundException 找不到指定的数据库。
429 ThrottlingException 由于请求限制而导致请求被拒绝。
500 InternalServerException 出现内部服务错误。