亚马逊 EMR 6.9.0-Hive 发行说明 - Amazon EMR
Hive 更改 已知问题
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 EMR 6.9.0-Hive 发行说明

亚马逊 EMR 6.9.0-Hive 的变化

类型 描述
Upgrade 将 Jetty 升级到 9.4.48.v20220622
Upgrade 对于 Hadoop 3.3.3 的支持
功能 Amazon EMR Hive 与 Lake Formation 集成，用于交互式GCSCAPI工作负载。
功能 亚马逊 EMR Hive 与 Iceberg 集成。
改进 如果使用 Amazon EMR 安全配置启用传输SSL中加密，则在 HiveServer 2 中启用。
改进 默认启用 Hive EMRFS Amazon S3 优化提交器。有关更多信息，请参阅启用 Hive EMRFS S3 优化提交器。
改进 添加仅继HiveHBaseTableInputFormatV2承的映射版本 InputFormat 以修复 SPARK -34210。将 hive.hbase.inputformat.v2 设置为 true 以使用它。
改进 等待 TezaM 在后台使用 hive.cli.tez.session.async 启动，而不是终止它后立即启动新版本。使用 hive.emr.cli.tez.session.open.timeout 以秒为单位设置此超时。
改进 添加选项 hive.conf.restricted.list.append，以将逗号分隔的配置附加到现有的受限配置列表 hive.conf.restricted.list 中。
改进 由于未为数据库定义位置而导致 Hive 查询失败时，会出现更清晰的错误消息。
逆向移植 HIVE-24484：将 Hadoop 升级到 3.3.1，将 Tez 升级到 0.10.2
逆向移植 HIVE-22398：通过删除YARN队列管理。 ShimLoader
逆向移植 HIVE-23190:LLAP: 修改 IndexCache 以将文件系统对象传递给。 TezSpillRecord
逆向移植 HIVE-22185：HADOOP-15832 会导致使用集群进行测试时出现问题。 MiniYarn
逆向移植 HIVE-21670：替换mockito-all为依赖关系。mockito-core
逆向移植 HIVE-24542：为升级做好番石榴准备。
逆向移植 HIVE-23751:QTest: 在 -1658 2 之后重写#mkdirs()方法ProxyFileSystem以对齐。HADOOP
逆向移植 HIVE-21603：Java 11 准备工作：更新 powermock 版本。
逆向移植 HIVE-24083：Hadoop 3.0 中的hcatalog错误：需要身份验证类型。
逆向移植 HIVE-24282：除非明确提及，否则显示列不应对输出列进行排序。
逆向移植 HIVE-20656：合理的默认值：地图聚合内存配置过于激进。
逆向移植 HIVE-25443：当复杂的数据类型超过 1024 个值时，Arrow SerDe 无法序列化/反序列化复杂的数据类型
逆向移植 HIVE-19792：将兽人升级到 1.5.2 并启用 decimal_64 架构演化测试。
逆向移植 HIVE-20437：处理从浮点型、双精度型和十进制开始的架构演变。
逆向移植 HIVE-21987：Hive 无法读取用十进制注释的 Parquet int32。
逆向移植 HIVE-20038：更新对非存储桶和分区表的查询抛出。NPE

亚马逊 EMR 6.9.0-Hive 已知问题

  • 在 Amazon EMR 6.0 到 6.9.x 中，具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703 引起的，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269 的一部分修复，并已在亚马逊 6.10.0 中修复。EMR