Amazon EMR 6.7.0 – Hive 发布说明 - Amazon EMR
Hive 更改已知问题
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.7.0 – Hive 发布说明

Amazon EMR 6.7.0 – Hive 更改

类型 描述
功能 亚马逊 EMR Hive 与。 LakeFormation
功能 适用于 Hive EMRFS Amazon S3 优化提交程序的其他审核日志记录。Hive config：hive.blobstore.output-committer.logging，默认值：false
功能 插入时删除的目标目录被空选择结果覆盖为未 table/static 分区的分区，其行为与 Hive 2.x 类似。Hive config：hive.emr.iow.clean.target.dir，默认值：false
错误 修复了在将 Hive EMRFS Amazon S3 优化提交程序与分区存储桶排序结合使用时出现间歇性查询失败的问题。
升级 已将 Hive 升级到版本 3.1.3。请参阅 Apache Hive 3.1.3 发布说明以了解更多详细信息。
升级 已将 Parquet 升级到 1.12.2。
逆向移植 HIVE-20065：元存储不应依赖 jackson 1.x
逆向移植 HIVE-20071：迁移到 jackson 2.x 并阻止使用
逆向移植 HIVE-20607： TxnHandler 应该 PreparedStatement 用于执行直接 SQL 查询
逆向移植 HIVE-20740：移除 ObjectStore .setConf 方法中的全局锁
逆向移植 HIVE-20961：停用 NVL 实施
逆向移植 HIVE-22059：hive-exec jar 不包含（fasterxml）jackson 库
逆向移植 HIVE-22351：修复中不正确的线程 ObjectStore用法 TestObjectStore
逆向移植 HIVE-23534： RetryingMetaStoreClient#invoke 中没有 NPE 在没有消息 MetaException的情况下捕捉时
逆向移植 HIVE-24048：将 Jackson 组件统一到版本 2.10.最新版 – Hive
逆向移植 HIVE-24768：在所有地方均使用 jackson-bom 进行版本替换
逆向移植 HIVE-24816：由于 CVE-2020-25649 的原因，将 jackson 升级到 2.10.5.1 或 2.11.0+
逆向移植 HIVE-25971：Tez 任务关闭因缓存线程池未关闭而延迟
逆向移植 HIVE-26036：由 get MTable () in 引起的 NPE ObjectStore

Amazon EMR 6.7.0 – Hive 已知问题

  • 如果使用窗口函数对与交集函数相同的列进行查询，则可能会导致如 HIVE-25278 中报告的转换无效问题，并导致查询结果不正确或查询失败。解决方法是在查询级别为此类查询禁用 CBO。修复程序将在 6.7.0 之后的 Amazon EMR 发行版中提供。有关更多信息，请联系 Amazon 支持人员。

  • 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 HIVE-20703 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 HIVE-22269 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。