亚马逊 EMR 6.8.0-Hive 发行说明 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 EMR 6.8.0-Hive 发行说明

亚马逊 EMR 6.8.0-Hive 的变化

类型 描述
改进 减少 msck 命令中的文件系统调用。性能改进(在 10k 以上的分区上提高约 15-20 倍)
逆向移植 HIVE-20678:iveHBaseTableOutputFormat 应实现 H 以确保兼容性 HiveOutputFormat
逆向移植 HIVE-21040:msck 在目录树的最后一层列出了不必要的文件
逆向移植 HIVE-21460:加载数据后面加上 select * 查询会导致结果不正确
逆向移植 HIVE-21660:使用合并所有视图和带有爆炸的后续视图时结果错误
逆向移植 HIVE-22505:由错误的矢量化 ClassCastException 运算符选择引起
逆向移植 HIVE-22513:筛选操作中投射列的持续传播可能会导致结果不正确
逆向移植 HIVE-23435:完全外部联接结果缺少行
逆向移植 HIVE-24209:启用矢量化时,NOTBETWEEN操作的搜索参数转换不正确
逆向移植 HIVE-24934:G Ch VectorizedExpressions eck 中不需要注释 enericUDFSQCount
逆向移植 HIVE-25278: HiveProjectJoinTransposeRule 可能使用窗口表达式进行无效的转换
逆向移植 HIVE-25505:标题结果不正确。如果第一行为空,则跳过.header.line.count
逆向移植 HIVE-26080:将 accumulo-core 升级到 1.10.1
逆向移植 HIVE-26235:OR 二进制列上的条件返回空结果
错误 修复启动期间 stderr 中的多个SLF4J绑定警告日志
错误 修复了当分区和表位于不同的文件系统上时,SHOWTABLEEXTENDED查询失败并出现 FS 错误错误。

亚马逊 EMR 6.8.0-Hive 已知问题

  • 在 Amazon EMR 6.0 到 6.9.x 中,具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703 引起的,该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序,建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269 的一部分修复,并已在亚马逊 6.10.0 中修复。EMR