什么是 S3 Storage Lens 存储统计管理工具导出清单?
鉴于聚合的数据量大,S3 Storage Lens 存储统计管理工具每日指标导出可以拆分为多个文件。清单文件 manifest.json
描述了当天的指标导出文件的位置。无论何时交付新的导出,都会附有新的清单。manifest.json
文件中包含的每个清单均提供了有关导出的元数据和其他基本信息。
清单信息包括以下属性:
-
sourceAccountId
– 配置拥有者的账户 ID。 -
configId
– 控制面板的唯一标识符。 -
destinationBucket
– 放置指标导出的目标桶 Amazon Resource Name(ARN)。 -
reportVersion
– 导出的版本。 -
reportDate
– 报告的日期。 -
reportFormat
– 报告的格式。 -
reportSchema
– 报告的架构。 -
reportFiles
– 目标桶中的导出报告文件的实际列表。
下面是 CSV 格式导出的 manifest.json
文件中的清单示例。
{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::
amzn-s3-demo-destination-bucket
", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"CSV", "reportSchema":"version_number,configuration_id,report_date,aws_account_number,aws_region,storage_class,record_type,record_value,bucket_name,metric_name,metric_value", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/a38f6bc4-2e3d-4355-ac8a-e2fdcf3de158.csv", "size":1603959, "md5Checksum":"2177e775870def72b8d84febe1ad3574" } ] }
下面是 Parquet 格式导出的 manifest.json
文件中的清单示例。
{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::
amzn-s3-demo-destination-bucket
", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"Parquet", "reportSchema":"message s3.storage.lens { required string version_number; required string configuration_id; required string report_date; required string aws_account_number; required string aws_region; required string storage_class; required string record_type; required string record_value; required string bucket_name; required string metric_name; required long metric_value; }", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/bd23de7c-b46a-4cf4-bcc5-b21aac5be0f5.par", "size":14714, "md5Checksum":"b5c741ee0251cd99b90b3e8eff50b944" } }
您可以将指标导出配置为作为控制面板配置的一部分在 Amazon S3 控制台中生成,也可以使用 Amazon S3 REST API、Amazon CLI 和开发工具包进行生成。