本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 EMR 6.9.0-Hive 发行说明
亚马逊 EMR 6.9.0-Hive 的变化
类型 | 描述 |
---|---|
Upgrade | 将 Jetty 升级到 9.4.48.v20220622 |
Upgrade | 对于 Hadoop 3.3.3 的支持 |
功能 | Amazon EMR Hive 与 Lake Formation 集成,用于交互式GCSCAPI工作负载。 |
功能 | 亚马逊 EMR Hive 与 Iceberg 集成。 |
改进 | 如果使用 Amazon EMR 安全配置启用传输SSL中加密,则在 HiveServer 2 中启用。 |
改进 | 默认启用 Hive EMRFS Amazon S3 优化提交器。有关更多信息,请参阅启用 Hive EMRFS S3 优化提交器。 |
改进 | 添加仅继HiveHBaseTableInputFormatV2 承的映射版本 InputFormat 以修复 SPARK -34210。hive.hbase.inputformat.v2 设置为 true 以使用它。 |
改进 | 等待 TezaM 在后台使用 hive.cli.tez.session.async 启动,而不是终止它后立即启动新版本。使用 hive.emr.cli.tez.session.open.timeout 以秒为单位设置此超时。 |
改进 | 添加选项 hive.conf.restricted.list.append,以将逗号分隔的配置附加到现有的受限配置列表 hive.conf.restricted.list 中。 |
改进 | 由于未为数据库定义位置而导致 Hive 查询失败时,会出现更清晰的错误消息。 |
逆向移植 | HIVE-24484 |
逆向移植 | HIVE-22398 |
逆向移植 | HIVE-23190 |
逆向移植 | HIVE-22185 |
逆向移植 | HIVE-21670mockito-all 为依赖关系。mockito-core |
逆向移植 | HIVE-24542 |
逆向移植 | HIVE-23751:QTest: 在 -1658#mkdirs() 方法ProxyFileSystem 以对齐。HADOOP |
逆向移植 | HIVE-21603 |
逆向移植 | HIVE-24083hcatalog 错误:需要身份验证类型。 |
逆向移植 | HIVE-24282 |
逆向移植 | HIVE-20656 |
逆向移植 | HIVE-25443 |
逆向移植 | HIVE-19792 |
逆向移植 | HIVE-20437 |
逆向移植 | HIVE-21987 |
逆向移植 | HIVE-20038 |
亚马逊 EMR 6.9.0-Hive 已知问题
在 Amazon EMR 6.0 到 6.9.x 中,具有动态分区和 BY 或 BY 子句ORDER的INSERT查询将始终有SORT两个缩减器。此问题是由OSS更改 HIVE-20703
引起的,该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序,建议将 hive.optimize.sort.dynamic.partition.threshold
属性设置为-1
以禁用新功能并获得计算正确的 Reducer 数量。此问题已在 OSS Hive 中作为 HIVE-22269的一部分修复,并已在亚马逊 6.10.0 中修复。EMR