了解 Amazon S3 Storage Lens 存储统计管理工具导出架构
S3 Storage Lens 存储统计管理工具导出架构因导出目标而异。根据您要导出到 S3 通用存储桶还是 S3 表来选择适当的架构。
用于 S3 通用存储桶的导出架构
下表包含 S3 Storage Lens 存储统计管理工具指标在导出到 S3 通用存储桶时的导出架构。
| 属性名称 | 数据类型 | 列名称 | 说明 |
|---|---|---|---|
VersionNumber |
字符串 | version_number |
正在使用的 S3 Storage Lens 存储统计管理工具指标的版本。 |
ConfigurationId |
字符串 | configuration_id |
S3 Storage Lens 存储统计管理工具配置的 configuration_id。 |
ReportDate
|
字符串 | report_date
|
跟踪指标的日期。 |
AwsAccountNumber
|
字符串 |
aws_account_number
|
您的 Amazon Web Services 账户 数字。 |
AwsRegion
|
字符串 |
aws_region
|
正在跟踪指标的 Amazon Web Services 区域。 |
StorageClass
|
字符串 |
storage_class
|
有问题的桶的存储类别。 |
RecordType
|
ENUM |
record_type
|
所报告的构件类型(ACCOUNT、BUCKET 或 PREFIX)。 |
RecordValue
|
字符串 |
record_value
|
RecordType 构件的值。注意
|
BucketName
|
字符串 |
bucket_name
|
正在报告的桶的名称。 |
MetricName
|
字符串 |
metric_name
|
正在报告的指标的名称。 |
MetricValue
|
长整型 |
metric_value
|
正在报告的指标的值。 |
S3 Storage Lens 存储统计管理工具指标导出示例
以下是基于此架构导出的 S3 Storage Lens 存储统计管理工具指标的示例。
注意
您可以通过在 record_type 列查找 STORAGE_LENS_GROUP_BUCKET 或 STORAGE_LENS_GROUP_ACCOUNT 值来识别 Storage Lens 组的指标。record_value 列将显示 Storage Lens 组的 Amazon 资源名称 (ARN),例如,arn:aws:s3:us-east-1:123456789012:storage-lens-group/slg-1。
以下是 S3 Storage Lens 存储统计管理工具指标导出示例,其中包含 Storage Lens 组数据。
用于 S3 表的导出架构
将 S3 Storage Lens 存储统计管理工具指标导出到 S3 表时,数据按照三个单独的表架构进行组织:存储指标、存储桶属性指标和活动指标。
存储指标表架构
| 名称 | 类型 | 说明 |
|---|---|---|
version_number |
字符串 | 表的架构的版本标识符 |
configuration_id |
字符串 | S3 Storage Lens 存储统计管理工具配置名称 |
report_time |
timestamptz | S3 Storage Lens 存储统计管理工具报告所指的日期 |
aws_account_id |
字符串 | 条目所指的账户 ID |
aws_region |
字符串 | 区域 |
storage_class |
字符串 | 存储类 |
record_type |
字符串 | 记录的类型,与数据聚合的级别related。值:ACCOUNT、BUCKET、PREFIX、LENS GROUP。 |
record_value |
字符串 | 其下有多条记录的记录类型的消歧器。它用于引用前缀 |
bucket_name |
字符串 | 存储桶名称 |
object_count |
长整数 | 当前引用项目已存储的对象数 |
storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的字节数 |
bucket_key_sse_kms_object_count |
长整数 | 对于当前引用项目,已存储的使用客户自主管理型密钥加密的对象数 |
bucket_key_sse_kms_storage_bytes |
DECIMAL(38,0) | 对于当前引用项目,已存储的使用客户自主管理型密钥加密的字节数 |
current_version_object_count |
长整数 | 当前引用项目已存储的当前版本的对象数 |
current_version_storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的当前版本的字节数 |
delete_marker_object_count |
长整数 | 当前引用项目已存储的删除标记对象数 |
delete_marker_storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的删除标记字节数 |
encrypted_object_count |
长整数 | 当前引用项目已存储的加密对象数 |
encrypted_storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的加密字节数 |
incomplete_mpu_object_older_than_7_days_count |
长整数 | 对于当前引用项目,存储已超过 7 天的未完成分段上传对象数 |
incomplete_mpu_storage_older_than_7_days_bytes |
DECIMAL(38,0) | 对于当前引用项目,存储已超过 7 天的未完成分段上传字节数 |
incomplete_mpu_object_count |
长整数 | 当前引用项目已存储的未完成分段上传对象数 |
incomplete_mpu_storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的未完成分段上传字节数 |
non_current_version_object_count |
长整数 | 当前引用项目已存储的非当前版本的对象数 |
non_current_version_storage_bytes |
DECIMAL(38,0) | 当前引用项目已存储的非当前版本的字节数 |
object_lock_enabled_object_count |
长整数 | 当前引用的项目中,为已启用锁定的对象存储的对象数 |
object_lock_enabled_storage_bytes |
DECIMAL(38,0) | 当前引用的项目中,为已启用锁定的对象存储的字节数 |
replicated_object_count |
长整数 | 当前引用项目已复制的对象数 |
replicated_storage_bytes |
DECIMAL(38,0) | 当前引用项目已复制的字节数 |
replicated_object_source_count |
长整数 | 对于当前引用项目,已复制作为源的对象数 |
replicated_storage_source_bytes |
DECIMAL(38,0) | 对于当前引用项目,已复制作为源的字节数 |
sse_kms_object_count |
长整数 | 对于当前引用项目,已存储的使用 SSE 密钥加密的对象数 |
sse_kms_storage_bytes |
DECIMAL(38,0) | 对于当前引用项目,已存储的使用 SSE 密钥加密的字节数 |
object_0kb_count |
长整数 | 大小等于 0 KB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_0kb_to_128kb_count |
长整数 | 大小大于 0 KB 且小于等于 128 KB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_128kb_to_256kb_count |
长整数 | 大小大于 128 KB 且小于等于 256 KB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_256kb_to_512kb_count |
长整数 | 大小大于 256 KB 且小于等于 512 KB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_512kb_to_1mb_count |
长整数 | 大小大于 512 KB 且小于等于 1 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_1mb_to_2mb_count |
长整数 | 大小大于 1 MB 且小于等于 2 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_2mb_to_4mb_count |
长整数 | 大小大于 2 MB 且小于等于 4 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_4mb_to_8mb_count |
长整数 | 大小大于 4 MB 且小于等于 8 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_8mb_to_16mb_count |
长整数 | 大小大于 8 MB 且小于等于 16 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_16mb_to_32mb_count |
长整数 | 大小大于 16 MB 且小于等于 32 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_32mb_to_64mb_count |
长整数 | 大小大于 32 MB 且小于等于 64 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_64mb_to_128mb_count |
长整数 | 大小大于 64 MB 且小于等于 128 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_128mb_to_256mb_count |
长整数 | 大小大于 128 MB 且小于等于 256 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_256mb_to_512mb_count |
长整数 | 大小大于 256 MB 且小于等于 512 MB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_512mb_to_1gb_count |
长整数 | 大小大于 512 MB 且小于等于 1 GB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_1gb_to_2gb_count |
长整数 | 大小大于 1 GB 且小于等于 2 GB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_2gb_to_4gb_count |
长整数 | 大小大于 2 GB 且小于等于 4 GB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
object_larger_than_4gb_count |
长整数 | 大小大于 4 GB 的对象数量,包括当前版本、非当前版本、未完成分段上传和删除标记 |
存储桶属性指标表架构
| 名称 | 类型 | 说明 |
|---|---|---|
version_number |
字符串 | 表的架构的版本标识符 |
configuration_id |
字符串 | S3 Storage Lens 存储统计管理工具配置名称 |
report_time |
timestamptz | S3 Storage Lens 存储统计管理工具报告所指的日期 |
aws_account_id |
字符串 | 条目所指的账户 ID |
record_type |
字符串 | 记录的类型,与数据聚合的级别相关。值:ACCOUNT、BUCKET、PREFIX、LENS GROUP。 |
record_value |
字符串 | 其下有多条记录的记录类型的消歧器。它用于引用前缀。 |
aws_region |
字符串 | 区域 |
storage_class |
字符串 | 存储类 |
bucket_name |
字符串 | 存储桶名称 |
versioning_enabled_bucket_count |
长整数 | 对于当前引用项目,启用了版本控制的存储桶数量 |
mfa_delete_enabled_bucket_count |
长整数 | 对于当前引用项目,启用了 MFA 删除的存储桶数量 |
sse_kms_enabled_bucket_count |
长整数 | 对于当前引用项目,启用了 KMS 的存储桶数量 |
object_ownership_bucket_owner_enforced_bucket_count |
长整数 | 对于当前引用项目,启用了对象所有权强制存储桶拥有者的存储桶数量 |
object_ownership_bucket_owner_preferred_bucket_count |
长整数 | 对于当前引用项目,启用了对象所有权存储桶拥有者优先的存储桶数量 |
object_ownership_object_writer_bucket_count |
长整数 | 对于当前引用项目,启用了对象所有权对象编写者的存储桶数量 |
transfer_acceleration_enabled_bucket_count |
长整数 | 对于当前引用项目,启用了传输加速的存储桶数量 |
event_notification_enabled_bucket_count |
长整数 | 对于当前引用项目,启用了事件通知的存储桶数量 |
transition_lifecycle_rule_count |
长整数 | 当前引用项目的转换生命周期规则的数量 |
expiration_lifecycle_rule_count |
长整数 | 当前引用项目的过期生命周期规则的数量 |
non_current_version_transition_lifecycle_rule_count |
长整数 | 当前引用项目的非当前版本转换生命周期规则的数量 |
non_current_version_expiration_lifecycle_rule_count |
长整数 | 当前引用项目的非当前版本过期生命周期规则的数量 |
abort_incomplete_multipart_upload_lifecycle_rule_count |
长整数 | 当前引用项目的未完成分段上传生命周期规则的数量 |
expired_object_delete_marker_lifecycle_rule_count |
长整数 | 当前引用项目的过期对象删除标记生命周期规则的数量 |
same_region_replication_rule_count |
长整数 | 当前引用项目的同区域复制规则的数量 |
cross_region_replication_rule_count |
长整数 | 当前引用项目的跨区域复制规则的数量 |
same_account_replication_rule_count |
长整数 | 当前引用项目的同账户复制规则的数量 |
cross_account_replication_rule_count |
长整数 | 当前引用项目的跨账户复制规则的数量 |
invalid_destination_replication_rule_count |
长整数 | 当前引用项目具有无效目标复制的存储桶数量 |
活动指标表架构
| 名称 | 类型 | 说明 |
|---|---|---|
version_number |
字符串 | 表的架构的版本标识符 |
configuration_id |
字符串 | S3 Storage Lens 存储统计管理工具配置名称 |
report_time |
timestamptz | S3 Storage Lens 存储统计管理工具报告所指的日期 |
aws_account_id |
字符串 | 条目所指的账户 ID |
aws_region |
字符串 | 区域 |
storage_class |
字符串 | 存储类 |
record_type |
字符串 | 记录的类型,与数据聚合的级别相关。值:ACCOUNT、BUCKET、PREFIX。 |
record_value |
字符串 | 其下有多条记录的记录类型的消歧器。它用于引用前缀 |
bucket_name |
字符串 | 存储桶名称 |
all_request_count |
长整数 | 当前引用项目的 _all_ 请求的数量 |
all_sse_kms_encrypted_request_count |
长整数 | 当前引用项目的 KMS 加密请求的数量 |
all_unsupported_sig_request_count |
长整数 | 当前引用项目的不支持的签名请求的数量 |
all_unsupported_tls_request_count |
长整数 | 当前引用项目的不支持的 TLS 请求的数量 |
bad_request_error_400_count |
长整数 | 当前引用项目的“400 错误请求”错误的数量 |
delete_request_count |
长整数 | 当前引用项目的 delete 请求的数量 |
downloaded_bytes |
decimal(0,0) | 当前引用项目已下载的字节数 |
error_4xx_count |
长整数 | 当前引用项目的 4xx 错误的数量 |
error_5xx_count |
长整数 | 当前引用项目的 5xx 错误的数量 |
forbidden_error_403_count |
长整数 | 当前引用项目的“403 禁止”错误的数量 |
get_request_count |
长整数 | 当前引用项目的 get 请求的数量 |
head_request_count |
长整数 | 当前引用项目的 head 请求的数量 |
internal_server_error_500_count |
长整数 | 当前引用项目的“500 内部服务器错误”的数量 |
list_request_count |
长整数 | 当前引用项目的 list 请求的数量 |
not_found_error_404_count |
长整数 | 当前引用项目的“404 未找到”错误的数量 |
ok_status_200_count |
长整数 | 当前引用项目的“200 OK”请求的数量 |
partial_content_status_206_count |
长整数 | 当前引用项目的“206 部分内容”请求的数量 |
post_request_count |
长整数 | 当前引用项目的 post 请求的数量 |
put_request_count |
长整数 | 当前引用项目的 put 请求的数量 |
select_request_count |
长整数 | 当前引用项目的 select 请求的数量 |
select_returned_bytes |
decimal(0,0) | 当前引用项目的 select 请求返回的字节数 |
select_scanned_bytes |
decimal(0,0) | 当前引用项目的 select 请求扫描的字节数 |
service_unavailable_error_503_count |
长整数 | 当前引用项目的“503 服务不可用”错误的数量 |
uploaded_bytes |
decimal(0,0) | 当前引用项目已上传的字节数 |
average_first_byte_latency |
长整数 | 过去 24 小时内,按照从 S3 存储桶收到完整请求到开始返回响应计算,每个请求的平均时间 |
average_total_request_latency |
长整数 | 在过去 24 小时内,按照从收到第一个字节到将最后一个字节发送到 S3 存储桶计算,每个请求的平均用时 |
read_0kb_request_count |
长整数 | 数据大小为 0 KB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_0kb_to_128kb_request_count |
长整数 | 数据大小大于 0 KB 且小于等于 128 KB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_128kb_to_256kb_request_count |
长整数 | 数据大小大于 128 KB 且小于等于 256 KB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_256kb_to_512kb_request_count |
长整数 | 数据大小大于 256 KB 且小于等于 512 KB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_512kb_to_1mb_request_count |
长整数 | 数据大小大于 512 KB 且小于等于 1 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_1mb_to_2mb_request_count |
长整数 | 数据大小大于 1 MB 且小于等于 2 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_2mb_to_4mb_request_count |
长整数 | 数据大小大于 2 MB 且小于等于 4 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_4mb_to_8mb_request_count |
长整数 | 数据大小大于 4 MB 且小于等于 8 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_8mb_to_16mb_request_count |
长整数 | 数据大小大于 8 MB 且小于等于 16 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_16mb_to_32mb_request_count |
长整数 | 数据大小大于 16 MB 且小于等于 32 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_32mb_to_64mb_request_count |
长整数 | 数据大小大于 32 MB 且小于等于 64 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_64mb_to_128mb_request_count |
长整数 | 数据大小大于 64 MB 且小于等于 128 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_128mb_to_256mb_request_count |
长整数 | 数据大小大于 128 MB 且小于等于 256 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_256mb_to_512mb_request_count |
长整数 | 数据大小大于 256 MB 且小于等于 512 MB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_512mb_to_1gb_request_count |
长整数 | 数据大小大于 512 MB 且小于等于 1 GB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_1gb_to_2gb_request_count |
长整数 | 数据大小大于 1 GB 且小于等于 2 GB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_2gb_to_4gb_request_count |
长整数 | 数据大小大于 2 GB 且小于等于 4 GB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
read_larger_than_4gb_request_count |
长整数 | 数据大小大于 4 GB 的 GetObject 请求数,包括基于范围的请求和完整对象请求 |
write_0kb_request_count |
长整数 | 数据大小为 0 KB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_0kb_to_128kb_request_count |
长整数 | 数据大小大于 0 KB 且小于等于 128 KB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_128kb_to_256kb_request_count |
长整数 | 数据大小大于 128 KB 且小于等于 256 KB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_256kb_to_512kb_request_count |
长整数 | 数据大小大于 256 KB 且小于等于 512 KB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_512kb_to_1mb_request_count |
长整数 | 数据大小大于 512 KB 且小于等于 1 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_1mb_to_2mb_request_count |
长整数 | 数据大小大于 1 MB 且小于等于 2 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_2mb_to_4mb_request_count |
长整数 | 数据大小大于 2 MB 且小于等于 4 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_4mb_to_8mb_request_count |
长整数 | 数据大小大于 4 MB 且小于等于 8 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_8mb_to_16mb_request_count |
长整数 | 数据大小大于 8 MB 且小于等于 16 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_16mb_to_32mb_request_count |
长整数 | 数据大小大于 16 MB 且小于等于 32 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_32mb_to_64mb_request_count |
长整数 | 数据大小大于 32 MB 且小于等于 64 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_64mb_to_128mb_request_count |
长整数 | 数据大小大于 64 MB 且小于等于 128 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_128mb_to_256mb_request_count |
长整数 | 数据大小大于 128 MB 且小于等于 256 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_256mb_to_512mb_request_count |
长整数 | 数据大小大于 256 MB 且小于等于 512 MB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_512mb_to_1gb_request_count |
长整数 | 数据大小大于 512 MB 且小于等于 1 GB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_1gb_to_2gb_request_count |
长整数 | 数据大小大于 1 GB 且小于等于 2 GB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_2gb_to_4gb_request_count |
长整数 | 数据大小大于 2 GB 且小于等于 4 GB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
write_larger_than_4gb_request_count |
长整数 | 数据大小大于 4 GB 的 PutObject、UploadPart 和 CreateMultipartUpload 请求数 |
concurrent_put_503_error_count |
长整数 | 由于并发写入相同对象而生成的 503 错误数量 |
cross_region_request_count |
长整数 | 所在区域不同于存储桶主区域的客户端发出的请求数 |
cross_region_transferred_bytes |
decimal(0,0) | 所在区域不同于存储桶主区域的调用所传输的字节数 |
cross_region_without_replication_request_count |
长整数 | 所在区域不同于存储桶主区域的客户端发出的请求数,不包括跨区域复制请求 |
cross_region_without_replication_transferred_bytes |
decimal(0,0) | 所在区域不同于存储桶主区域的调用所传输的字节数,不包括跨区域复制的字节数 |
inregion_request_count |
长整数 | 存储桶主区域中的客户端发出的请求数 |
inregion_transferred_bytes |
decimal(0,0) | 存储桶主区域中的调用所传输的字节数 |
unique_objects_accessed_daily_count |
长整数 | 过去 24 小时内至少访问过一次的对象数量 |