Amazon EMR 6.13.0 – Hive 发布说明

改进

升级 Python 脚本以支持 Python3

改进

HIVE-27097：改进 MetaStore 客户端和服务器的重试策略

错误修复

HIVE-21778：CBO：“结构不为空”被评估为可为空，总是会导致查询中筛选条件缺失

错误修复

HIVE-21009：为用户添加了设置绑定用户的功能

错误修复

HIVE-22661：在路径中加载了数据的非存储桶表上的压缩失败

错误修复

HIVE-19718：批量添加分区还会提取每个分区的表

错误修复

HIVE-22173：在编译过程中使用多个横向视图的查询挂起

错误修复

HIVE-27088：合并带有后联接筛选条件的内部和外部联接时结果不正确

错误修复

HIVE-21935：Hive 向量化：使用向量化 UDF 导致性能降低

错误修复

HIVE-25299：对于非 UTC 时区，将时间戳转换为数字数据类型是不正确的

错误修复

HIVE-24626：LLAP：如果所有 IO 电梯线程都忙于排队到其他队列已满的读取器，则读取器线程可能会面临短缺

错误修复

HIVE-27029：Hive 查询失败并显示文件系统关闭错误，HIVE-26352 已完成返工

错误修复

HIVE-26352：Tez 队列访问检查失败，并且 Compaction 上存在 GSS 异常

错误修复

HIVE-24590：操作日志仍然会泄漏 log4j 附加程序

错误修复

HIVE-24552：可能的 HMS 连接泄漏或 loadDynamicPartitions 中的累积

错误修复

HIVE-27069：加入存储桶地图时结果不正确

错误修复

HIVE-27344：在 RecordReaderImpl#close 中添加空值检查

错误修复

HIVE-27439：支持以十进制表示的空格

错误修复

HIVE-27267：使用子查询对十进制分桶列进行存储桶映射联接时结果不正确

错误修复

HIVE-21986：HiveServer Web 用户界面：在默认响应标头中设置 Strict-Transport-Security

错误修复

HIVE-22148：S3A 委托令牌未添加到 Compactor 的任务配置中。

错误修复

HIVE-22622：Hive 允许创建具有重复属性名称的结构

错误修复

HIVE-22008：LIKE 运算符应匹配多行输入

错误修复

HIVE-23144：LLAP：让 QueryTracker 在 ServiceStop 上进行清理

错误修复

HIVE-22391：检查 Hive 查询结果缓存时出现 NPE

错误修复

HIVE-23305：由于争用情况，LlapTaskSchedulerService addNode 中出现 NullPointerException

错误修复

HIVE-22178：Parquet FilterPredicate 在 SchemaEvolution 之后引发了 CastException

错误修复

HIVE-21517：修复 AggregateStatsCache

错误修复

HIVE-21825：改进启用主动/被动 HA 时的客户端错误消息

错误修复

HIVE-23389：FilterMergeRule 可能会导致 AssertionError

错误修复

HIVE-22767：Beeline 无法正确解析注释中的分号

错误修复

HIVE-22996：BasicStats 解析应主动检查 null 或空字符串

错误修复

HIVE-22808：HiveRelFieldTrimmer 无法处理 HiveTableFunctionScan

错误修复

HIVE-22437：LLAP 元数据在锁定元数据时缓存 NPE。

错误修复

HIVE-22606：AvroSerde 在 INFO 级别下记录 avro.schema.literal

错误修复

HIVE-22713：不应对 Join-Fil(*)-RS 结构进行持续传播

错误修复

HIVE-21624：LLAP：线程级别的 Cpu 指标已损坏

错误修复

HIVE-22815：减少在 MROutput 中创建不必要的文件系统对象的次数

错误修复

HIVE-23060：查询失败并显示错误“分组集表达式不在 GROUP BY 键中。在令牌附近遇到错误”

错误修复

HIVE-22236：无法通过选择包含 NOT IN 子查询的视图来创建视图

错误修复

HIVE-19886：如果使用 —hiveconf hive.log.file，则日志可能会被定向到 2 个文件

错误修复

HIVE-20620：使用动态分区插入存储桶排序的 MM 表时出现清单冲突

错误修复

HIVE-14557：同时启用 SkewJoin 和 MapJoin 时为空指针

错误修复

HIVE-20471：获取默认数据库路径时出现问题

错误修复

HIVE-20598：修复 HiveAlgorithmsUtil 计算中的错别字

错误修复

HIVE-14737：在 Kerberized Hive Server 2 Web 用户界面中访问 /logs 时出现问题

错误修复

HIVE-20733：GenericUDFOPEqualNS 不得在计划描述中使用 =

错误修复

HIVE-20848：设置 UpdateInputAccessTimeHook 后，查询失败并显示未找到表。

错误修复

HIVE-18929：HiveStringUtils.java 中的 HumanReadableInt 方法存在争用条件。

错误修复

HIVE-20841：LLAP：将动态端口设置为可配置

错误修复

HIVE-20930：筛选模式下的 VectorCoalesce 不生效

错误修复

HIVE-21007：半联接 + Union 可能会导致计划错误

错误修复

HIVE-21074：Hive 分桶表查询修剪不适用于 IS NOT NULL 条件

错误修复

HIVE-21223：当分区不存在时 CachedStore 返回空分区

错误修复

HIVE-19625：Hive#copyFiles 中潜在的 NPE 和隐藏的实际异常

错误修复

HIVE-17020：激进的 RS 重复数据删除可能会错误地删除 OP 树分支

错误修复

HIVE-20168：隐藏了 ReduceSinkOperator 日志记录

错误修复

HIVE-20879：在投影表达式中使用空值会导致 CastException

错误修复

HIVE-20888：TxnHandler：在不可变列表上调用 sort()

错误修复

HIVE-19948：如果字符串内有引号，HiveCLI 无法正确地用分号分隔命令

错误修复

HIVE-20621：在 resultset.next 中调用 GetOperationStatus 会导致增量缓慢

错误修复

HIVE-20854：合理的默认值：Hive 的 Zookeeper 检测信号间隔为 20 分钟，改为 2 分钟

错误修复

HIVE-20330：HCatLoader 无法为具有多个输入的作业处理多个 InputJobInfo 对象

错误修复

HIVE-20787：MapJoinBytesTableContainer dummyRow 案例无法处理重用

错误修复

HIVE-20331：使用 union all、横向视图和 Join 进行查询失败，并显示“无法在子运算符中找到父项”

错误修复

HIVE-19968：未引发 UDF 异常

错误修复

HIVE-20410：中止在事务表上插入覆盖会导致“没有足够的历史记录可用于……”错误

错误修复

HIVE-20059：Hive 流式传输应在例外情况下无条件尝试阴影前缀

错误修复

HIVE-19424：MetaDataFormatters 中的 NPE

错误修复

HIVE-20355：HiveConnection.setSchema 的清理参数

错误修复

HIVE-20858：未使用 Utilities.createEmptyBuckets 中的配置正确初始化序列化器

错误修复

HIVE-20424：schematool 不得污染 beeline 历史记录

错误修复

HIVE-20338：LLAP：对具有 HDFS 协议隐含和 POSIX 突变语义的文件系统强制使用合成文件 ID

错误修复

HIVE-11708：逻辑运算符使用空值引起 ClassCastExceptions

错误修复

HIVE-21082：在 HPL/SQL 中，声明语句不支持字符类型的变量

错误修复

HIVE-16690：根据 LLAP 集群大小配置 Tez 笛卡尔乘积边缘

错误修复

HIVE-14516：OrcInputFormat.SplitGenerator.callInternal

错误修复

HIVE-20981：流式传输/AbstractRecordWriter 泄漏了 HeapMemoryMonitor

错误修复

HIVE-20043：HiveServer2：SessionState 在 AtomicBoolean 周围有一个静态同步块

错误修复

HIVE-20191：如果补丁为空，则 PreCommit 补丁应用程序不会失败

错误修复

HIVE-20400：创建表应始终使用完全限定路径，以避免潜在的 FS 歧义

错误修复

在访问偏斜列之前，添加对 skewedInfo 的空值检查