亚马逊 EMR 6.7.0-Hive 发行说明 - Amazon EMR
Hive 更改已知问题
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 EMR 6.7.0-Hive 发行说明

亚马逊 EMR 6.7.0-Hive 变更

类型 描述
功能 Amazon EMR Hive 与集成。 LakeFormation
功能 Hive EMRFS Amazon S3 优化提交者的额外审核日志。Hive config：hive.blobstore.output-committer.logging，默认值：false
功能 如果在插入覆盖时删除目标目录，选择结果为空，会导致未分区的表/静态分区的行为与 Hive 2.x 类似。Hive config：hive.emr.iow.clean.target.dir，默认值：false
错误 修复了使用 Hive EMRFS Amazon S3 优化提交程序进行分区存储桶排序时出现的间歇性查询失败问题。
Upgrade 已将 Hive 升级到版本 3.1.3。请参阅 Apache Hive 3.1.3 发布说明以了解更多详细信息。
Upgrade 已将 Parquet 升级到 1.12.2。
逆向移植 HIVE-20065：Metastore 不应该依赖 jackson 1.x
逆向移植 HIVE-20071：迁移到 jackson 2.x 并禁止使用
逆向移植 HIVE-20607： TxnHandler 应使用 PreparedStatement 来执行直接查询 SQL
逆向移植 HIVE-20740：移除全局锁定。 ObjectStore setConf 方法
逆向移植 HIVE-20961：停用实施 NVL
逆向移植 HIVE-22059：hive-exec jar 不包含 (fasterxml) jackson 库
逆向移植 HIVE-22351：修复中不正确的线程用法 ObjectStore TestObjectStore
逆向移植 HIVE-23534：NPE在 RetryingMetaStoreClient #invoke 中捕捉时没有留言 MetaException
逆向移植 HIVE-24048：将 Jackson 组件协调到版本 2.10. 最新版本-Hive
逆向移植 HIVE-24768：到处使用 jackson-bom 进行版本替换
逆向移植 HIVE-24816：由于 -2020-25649，将 jackson 升级到 2.10.5.1 或 2.11.0+ CVE
逆向移植 HIVE-25971：由于缓存的线程池未关闭，Tez 任务关闭延迟
逆向移植 HIVE-26036：由 getMTable () NPE 引起 ObjectStore

亚马逊 EMR 6.7.0-Hive 已知问题

  • 与 join 位于同一列上的窗口函数的查询可能会导致无效的转换（如 HIVE-25278 中所述），并导致错误的结果或查询失败。解决方法是在查询CBO级别禁用此类查询。该修复程序将在 6.7.0 之后的 Amazon EMR 版本中推出。有关更多信息，请联系 Amazon 支持人员。

  • 在 Amazon EMR 6.0 到 6.9.x 中，具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703 引起的，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269 的一部分修复，并已在亚马逊 6.10.0 中修复。EMR