维护任务的注意事项和限制 - Amazon Simple Storage Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

维护任务的注意事项和限制

Amazon S3 提供维护操作,以提高 S3 表或表存储桶的性能。这些选项为文件压缩、快照管理和未引用文件移除。以下是这些管理选项的限制和注意事项。

压缩注意事项

以下注意事项适用于压缩。有关压缩的更多信息,请参阅 S3 表类数据存储服务维护

  • 仅 Apache Parquet 文件类型支持压缩。

  • 压缩不支持数据类型:固定。

  • 压缩不支持压缩类型:brotlilz4

快照管理注意事项

以下注意事项适用于快照管理。有关快照管理的更多信息,请参阅 S3 表类数据存储服务维护

  • 只有在同时满足以下两个条件时,才会保留快照:要保留的最小快照数量和指定的保留期。

  • 快照管理从 Apache Iceberg 中删除到期的快照元数据,从而防止对到期快照进行时空旅行查询,并选择性删除关联的数据文件。

  • 快照管理不支持您在 metadata.json 文件中或通过 ALTER TABLE SET TBLPROPERTIES SQL 命令配置为 Iceberg 表属性的保留值,包括基于分支或标签的保留。当您配置基于分支或标签的保留策略,或者在 metadata.json 文件上配置的保留策略长度超过通过 PutTableMaintenanceConfiguration API 配置的值时,快照管理将被禁用。在这些情况下,S3 不会使快照到期或移除快照,您需要手动删除快照或从 Iceberg 表中移除属性,以避免产生存储费用。

未引用文件移除的注意事项

以下注意事项适用于未引用文件移除。有关未引用文件移除的更多信息,请参阅 Amazon S3 表存储桶维护

  • 未引用文件移除会删除 Iceberg 元数据不再引用的数据和元数据文件(如果其创建时间早于保留期)。

S3 表和表存储桶维护的限制

维护操作 属性 是否可在表存储桶级进行配置? 是否可在表级进行配置? 默认值 最小值
压缩 targetFileSizeMB 512 MB 64MB
快照管理 minimumSnapshots 1 1
快照管理 maximumSnapshotAge 120 小时 1 小时
未引用文件移除 unreferencedDays 3 天 1 天
未引用文件移除 nonCurrentDays 10 天 1 天