Amazon EMR 6.8.0 – Hive 发布说明 - Amazon EMR
Hive 更改 已知问题
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.8.0 – Hive 发布说明

Amazon EMR 6.8.0 – Hive 更改

类型 描述
改进 减少 msck 命令中的文件系统调用。性能改进（在 10k 以上的分区上提高约 15-20 倍）
逆向移植 HIVE-20678： HiveOutputFormat 为了确保兼容性，BaseTableOutputFormat 应实施 HiveH
逆向移植 HIVE-21040：msck 在目录树的最后一级列出不必要的文件
逆向移植 HIVE-21460：加载数据后再进行 select * 查询会导致结果不正确
逆向移植 HIVE-21660：当使用 union all 和 later with explode 时结果错误
逆向移植 HIVE-22505：由 ClassCastException 错误的矢量化运算符选择引起
逆向移植 HIVE-22513：过滤器运算中强制转换列的持续传播可能会导致不正确的结果
逆向移植 HIVE-23435：完整的外部联接结果缺少行
逆向移植 HIVE-24209：启用向量化时，NOT BETWEEN 运算的搜索参数转换不正确
逆向移植 HIVE-24934：Gener VectorizedExpressions icudfSQ 中不需要注解 CountCheck
逆向移植 HIVE-25278： HiveProjectJoinTransposeRule 可能使用窗口表达式进行无效的转换
逆向移植 HIVE-25505：如果第一行为空，则 header. skip.header.line.count 的结果不正确
逆向移植 HIVE-26080：将 accumulo-core 升级到 1.10.1
逆向移植 HIVE-26235：二进制列上的 OR 条件返回空结果
错误 修复启动期间 stderr 中的多个 SLF4J 绑定警告日志
错误 修复当分区和表位于不同文件系统时 SHOW TABLE EXTENDED 查询失败并出现 Wrong FS 错误的问题。

Amazon EMR 6.8.0 – Hive 已知问题

  • 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 HIVE-20703 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 HIVE-22269 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。