不同文件格式支持的 Iceberg 表压缩
Athena 中的 Apache Iceberg 压缩支持取决于引擎版本。
Athena 引擎版本 3 中的 Iceberg 压缩支持
下表总结了对于 Apache Iceberg 存储文件格式,Athena 引擎版本 3 中支持的压缩格式。除非另有说明,否则单元格中的“是”或“否”同样适用于读取和写入操作。就本表而言,CREATE TABLE、CTAS 和 INSERT INTO 视为写入操作。在 Athena 引擎版本 3 中,适用于 Iceberg 的默认存储格式为 Parquet。在 Athena 引擎版本 3 中,适用于 Iceberg 的默认压缩格式为 ZSTD。有关在 Athena 中使用 ZSTD 压缩级别的更多信息,请参阅 在 Athena 中使用 ZSTD 压缩级别。
Avro | ORC | Parquet(默认) | |
---|---|---|---|
BZIP2 | 不支持 | 否 | 不支持 |
GZIP | 支持 | 否 | 支持 |
LZ4 | 不支持 | 是 | 不支持 |
SNAPPY | 支持 | 是 | 支持 |
ZLIB | 不支持 | 是 | 不支持 |
ZSTD | 支持 | 支持 | 是(默认) |
NONE | 是(请指定 None 或 Deflate ) |
支持 | 是(请指定 None 或 Uncompressed ) |
Athena 引擎版本 2 中的 Iceberg 压缩支持
下表总结了对于 Apache Iceberg,Athena 引擎版本 2 中支持的压缩格式。除非另有说明,否则单元格中的“是”或“否”同样适用于读取和写入操作。就本表而言,CREATE TABLE、CTAS 和 INSERT INTO 视为写入操作。在 Athena 引擎版本 2 中,适用于 Iceberg 的默认存储格式为 Parquet。在 Athena 引擎版本 2 中,适用于 Iceberg 的默认压缩格式为 GZIP。
Avro (不支持) |
ORC (不支持) |
Parquet(默认) | |
---|---|---|---|
BZIP2 | 不支持 | 否 | 不支持 |
GZIP | 不支持 | 不支持 | 是(默认) |
LZ4 | 不支持 | 否 | 不支持 |
SNAPPY | 不支持 | 否 | 支持 |
ZLIB | 不支持 | 否 | 不支持 |
ZSTD | 不支持 | 否 | 支持 |
NONE | 不支持 | 否 | 支持 |