Amazon EMR 7.4.0:Hive 发布说明 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon EMR 7.4.0:Hive 发布说明

Amazon EMR 7.4.0:Hive 更改

类型 描述

Upgrade

HIVE-28191:将 Hadoop 版本升级到 3.4.0

Upgrade

将 hadoop shaded protobuf 升级到 3.21

Upgrade

将 commons-cli 升级到 1.5.0

Upgrade

将 commons-compress 升级到 1.24.0

Upgrade

将 commons-io 升级到 2.14.0

Upgrade

将 commons-lang3 升级到 3.21.0

改进

将尝试在 HiveCLI 中使用现有会话时等待 Tez 会话打开的最长时间更改为 10 秒。

改进

使用 LIMIT 在 Tez DAG 中为简单的选择查询启用短路机制

改进

HIVE-21100:允许扁平化使用 TEZ 引擎和 UNION 子句时生成的表子目录

错误修复

HIVE-25095:Beeline/hive -e 命令无法处理带有尾随引号的查询

错误修复

HIVE-13781:当分区目录不存在时,Tez 作业失败并发生 FileNotFoundException 异常。

错误修复

HIVE-28480:在之前的 RS 中,如果联接分支之间的分区哈希生成器不匹配,则禁用 SMB

Amazon EMR 7.4.0 - 新配置

分类 名称 默认值 描述

hive-site

hive.ignore.failure.partition.dir.not.found

false

如果表分区存在,但实际对象存储路径不存在,则忽略失败。

hive-site

hive.tez.union.flatten.subdirectories

false

当向表中写入数据且 UNION ALL 是查询的最后一步时,Tez 上的 Hive 会为 UNION ALL 的每个分支创建一个子目录。启用此属性后,子目录将被移除,文件将被重命名并移动到父目录。请注意,当启用 hive.blobstore.use.output-committer 时,此操作无效。