本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 EMR 6.7.0-Hive 发行说明
亚马逊 EMR 6.7.0-Hive 变更
类型 | 描述 |
---|---|
功能 | Amazon EMR Hive 与集成。 LakeFormation |
功能 | Hive EMRFS Amazon S3 优化提交者的额外审核日志。Hive config:hive.blobstore.output-committer.logging ,默认值:false |
功能 | 如果在插入覆盖时删除目标目录,选择结果为空,会导致未分区的表/静态分区的行为与 Hive 2.x 类似。Hive config:hive.emr.iow.clean.target.dir ,默认值:false |
错误 | 修复了使用 Hive EMRFS Amazon S3 优化提交程序进行分区存储桶排序时出现的间歇性查询失败问题。 |
Upgrade | 已将 Hive 升级到版本 3.1.3。请参阅 Apache Hive 3.1.3 发布说明 |
Upgrade | 已将 Parquet 升级到 1.12.2 |
逆向移植 | HIVE-20065 |
逆向移植 | HIVE-20071 |
逆向移植 | HIVE-20607 |
逆向移植 | HIVE-20740 |
逆向移植 | HIVE-20961 |
逆向移植 | HIVE-22059 |
逆向移植 | HIVE-22351 |
逆向移植 | HIVE-23534 |
逆向移植 | HIVE-24048 |
逆向移植 | HIVE-24768 |
逆向移植 | HIVE-24816 |
逆向移植 | HIVE-25971 |
逆向移植 | HIVE-26036 |
亚马逊 EMR 6.7.0-Hive 已知问题
-
与 join 位于同一列上的窗口函数的查询可能会导致无效的转换(如 HIVE-25278
中所述),并导致错误的结果或查询失败。解决方法是在查询CBO级别禁用此类查询。该修复程序将在 6.7.0 之后的 Amazon EMR 版本中推出。有关更多信息,请联系 Amazon 支持人员。 在 Amazon EMR 6.0 到 6.9.x 中,具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703
引起的,该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序,建议将 hive.optimize.sort.dynamic.partition.threshold
属性设置为-1
以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269的一部分修复,并已在亚马逊 6.10.0 中修复。EMR