本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 EMR 6.8.0-Hive 发行说明
亚马逊 EMR 6.8.0-Hive 的变化
类型 | 描述 |
---|---|
改进 | 减少 msck 命令中的文件系统调用。性能改进(在 10k 以上的分区上提高约 15-20 倍) |
逆向移植 | HIVE-20678 |
逆向移植 | HIVE-21040 |
逆向移植 | HIVE-21460 |
逆向移植 | HIVE-21660 |
逆向移植 | HIVE-22505 |
逆向移植 | HIVE-22513 |
逆向移植 | HIVE-23435 |
逆向移植 | HIVE-24209 |
逆向移植 | HIVE-24934:G |
逆向移植 | HIVE-25278 |
逆向移植 | HIVE-25505 |
逆向移植 | HIVE-26080 |
逆向移植 | HIVE-26235 |
错误 | 修复启动期间 stderr 中的多个SLF4J绑定警告日志 |
错误 | 修复了当分区和表位于不同的文件系统上时,SHOWTABLEEXTENDED查询失败并出现 FS 错误错误。 |
亚马逊 EMR 6.8.0-Hive 已知问题
在 Amazon EMR 6.0 到 6.9.x 中,具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703
引起的,该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序,建议将 hive.optimize.sort.dynamic.partition.threshold
属性设置为-1
以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269的一部分修复,并已在亚马逊 6.10.0 中修复。EMR