Amazon EMR 6.9.0 – Hive 发布说明 - Amazon EMR
Hive 更改 已知问题
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.9.0 – Hive 发布说明

Amazon EMR 6.9.0 – Hive 更改

类型 描述
Upgrade 将 Jetty 升级到 9.4.48.v20220622
Upgrade 对于 Hadoop 3.3.3 的支持
功能 Amazon EMR Hive 使用 GCSC API 与 Lake Formation 集成，以实现交互式工作负载。
功能 Amazon EMR Hive 与 Iceberg 的集成。
改进 如果使用 Amazon EMR 安全配置启用传输中加密，则在 HiveServer 2 中启用 SSL。
改进 默认情况下启用 Hive EMRFS Amazon S3 优化提交程序。有关更多信息，请参阅 启用 Hive EMRFS S3 优化提交程序。
改进 添加仅继HiveHBaseTableInputFormatV2承的映射版本 InputFormat 以修复 SPARK-34210。将 hive.hbase.inputformat.v2 设置为 true 以使用它。
改进 等待 TezaM 在后台使用 hive.cli.tez.session.async 启动，而不是终止它后立即启动新版本。使用 hive.emr.cli.tez.session.open.timeout 以秒为单位设置此超时。
改进 添加选项 hive.conf.restricted.list.append，以将逗号分隔的配置附加到现有的受限配置列表 hive.conf.restricted.list 中。
改进 由于未为数据库定义位置而导致 Hive 查询失败时，会出现更清晰的错误消息。
逆向移植 HIVE-24484：将 Hadoop 升级到 3.3.1，并将 Tez 升级到 0.10.2
逆向移植 HIVE-22398：通过移除 YARN 队列管理 ShimLoader。
逆向移植 HIVE-23190：LLAP：修改 IndexCache 以将文件系统对象传递给。 TezSpillRecord
逆向移植 HIVE-22185：HADOOP-15832 会导致使用 MiniYarn 集群进行测试时出现问题。
逆向移植 HIVE-21670：将 mockito-all 替换为 mockito-core 依赖项。
逆向移植 HIVE-24542：准备 Guava 以进行升级。
逆向移植 HIVE-23751：QTest：覆盖 ProxyFileSystem 中的 #mkdirs() 方法以在 HADOOP-16582 之后对齐。
逆向移植 HIVE-21603：准备 Java 11：更新 powermock 版本。
逆向移植 HIVE-24083：Hadoop 3.3.0 中出现 hcatalog 错误：需要身份验证类型。
逆向移植 HIVE-24282：除非明确提及，否则显示列不得对输出列进行排序。
逆向移植 HIVE-20656：合理的默认值：映射聚合内存配置过于激进。
逆向移植 HIVE-25443：当复杂的数据类型超过 1024 个值时，Arrow SerDe 无法序列化/反序列化复杂的数据类型
逆向移植 HIVE-19792：将 orc 升级到 1.5.2 并启用 decimal_64 架构发展测试。
逆向移植 HIVE-20437：处理从浮点数、双精度浮点数和十进制数转换的架构发展。
逆向移植 HIVE-21987：Hive 无法读取使用十进制注释的 Parquet int32。
逆向移植 HIVE-20038：对非分桶表和未分区表的更新查询会引发 NPE。

Amazon EMR 6.9.0 – Hive 已知问题

  • 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 HIVE-20703 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 HIVE-22269 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。