什么是 S3 Storage Lens 存储统计管理工具导出清单? - Amazon Simple Storage Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

什么是 S3 Storage Lens 存储统计管理工具导出清单?

鉴于聚合的数据量大,S3 Storage Lens 存储统计管理工具每日指标导出可以拆分为多个文件。清单文件 manifest.json 描述了当天的指标导出文件的位置。无论何时交付新的导出,都会附有新的清单。manifest.json 文件中包含的每个清单均提供了有关导出的元数据和其他基本信息。

清单信息包括以下属性:

  • sourceAccountId – 配置拥有者的账户 ID。

  • configId – 控制面板的唯一标识符。

  • destinationBucket – 放置指标导出的目标桶 Amazon Resource Name(ARN)。

  • reportVersion – 导出的版本。

  • reportDate – 报告的日期。

  • reportFormat – 报告的格式。

  • reportSchema – 报告的架构。

  • reportFiles – 目标桶中的导出报告文件的实际列表。

下面是 CSV 格式导出的 manifest.json 文件中的清单示例。

{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::destination-bucket", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"CSV", "reportSchema":"version_number,configuration_id,report_date,aws_account_number,aws_region,storage_class,record_type,record_value,bucket_name,metric_name,metric_value", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/a38f6bc4-2e3d-4355-ac8a-e2fdcf3de158.csv", "size":1603959, "md5Checksum":"2177e775870def72b8d84febe1ad3574" } ] }

下面是 Parquet 格式导出的 manifest.json 文件中的清单示例。

{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::destination-bucket", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"Parquet", "reportSchema":"message s3.storage.lens { required string version_number; required string configuration_id; required string report_date; required string aws_account_number; required string aws_region; required string storage_class; required string record_type; required string record_value; required string bucket_name; required string metric_name; required long metric_value; }", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/bd23de7c-b46a-4cf4-bcc5-b21aac5be0f5.par", "size":14714, "md5Checksum":"b5c741ee0251cd99b90b3e8eff50b944" } }

您可以将指标导出配置为作为控制面板配置的一部分在 Amazon S3 控制台中生成,也可以使用 Amazon S3 REST API、Amazon CLI 和开发工具包进行生成。