优化元数据表查询性能
由于 S3 元数据基于 Apache Iceberg 表格式,因此您可以使用特定的时间范围来优化元数据表查询的性能和成本。
例如,以下 SQL 查询提供了 S3 通用存储桶中新对象的敏感级别:
SELECT key, object_tags['SensitivityLevel'] FROM aws_s3_metadata.
my_metadata_table
WHERE record_type = 'CREATE' GROUP BY object_tags['SensitivityLevel']
此查询将扫描整个元数据表,运行可能需要很长时间。要提高性能,您可以包括 record_timestamp
列以专注于特定的时间范围。以下是上一个查询的更新版本,它查看了过去一个月的新对象:
SELECT key, object_tags['SensitivityLevel'] FROM aws_s3_metadata.
my_metadata_table
WHERE record_type = 'CREATE' AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month) GROUP BY object_tags['SensitivityLevel']