Amazon EMR 6.12.0 – Hive 发布说明 - Amazon EMR
Hive 更改
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.12.0 – Hive 发布说明

Amazon EMR 6.12.0 – Hive 更改

类型 描述
改进 添加了对 JDK 11 和 JDK 17 运行时系统的支持
改进 添加了使用 S3 Select 时对查询区分大小写和保留关键字列名的支持。要使用它，请以“s3select.column.mapping”= "column1:fieldName1, column2:fieldName2,..." 的格式定义表格属性
改进 HIVE-23133：不同硬件架构的数值运算可能有不同的结果
改进 HIVE-27145： StrictMath 用于剩余的数学函数，作为 HIVE-23133 的后续函数
错误修复 修复在 EMR Hive 6.4.0 中移植 HIVE-22900 而导致的 get_partitions_by_filter 和 get_num_partitions_by_filter HMS API 中的通配符不兼容问题
错误修复 HIVE-26736：带有 WITH 子句的嵌套视图授权失败
错误修复 HIVE-22416：启用并行执行后，与 MR 相关的操作日志丢失
错误修复 HIVE-19653：带有分组集的 groupby 的谓词下推不正确
错误修复 HIVE-22094：查询失败并显示为：hive.ql.e ClassCastException xec.vector。 DecimalColumnVector无法转换到 Hive.ql.exec.vector.decimal64 ColumnVector
错误修复 HIVE-26340：如果查询具有大写窗口功能，则向量化 PTF 运算符会失败
错误修复 HIVE-26184：当某些键高度偏斜时，使用 GROUP BY 的 COLLECT_SET 速度非常慢
错误修复 HIVE-26373：从 HBase 表中读取带有 Avro 数据的时间戳 ClassCastException 时
错误修复 HIVE-26388： ClassCastException 当 CTAS 查询的源表中存在非字符串类型列时，升级 HIVE-26172：Hive-由于 CVE-2021-36373 和 CVE-2021-36374，将 Ant 升级到 1.10.11
错误修复 HIVE-26114：使用带前缀空格的 dfs 命令修复 jdbc 连接 hiveserver2 会导致异常
错误修复 HIVE-26396：trunc 函数在精度截取方面存在问题，且结果中有很多 0
错误修复 HIVE-26446： HiveProtoLoggingHook 无法填充分区表的 TablesWritten 字段。
错误修复 HIVE-26639： ConstantVectorExpression 并且 ExplainTask 不应该依赖默认字符集
错误修复 HIVE-22670： ArrayIndexOutOfBoundsException 当使用矢量化阅读器读取镶木地板文件时
错误修复 HIVE-23607：权限问题：在另一个视图上创建视图成功，但更改视图失败
错误修复 HIVE-25498：包含超过 31 个计数的不同函数的查询返回错误结果
错误修复 HIVE-25780： DistinctExpansion 创建超过 64 个分组集 II
错误修复 HIVE-23868：窗口化函数规范：支持 0 在之前/之后
错误修复 HIVE-24539： OrcInputFormat 架构生成应遵循列分隔符
错误修复 HIVE-23476：LLAP：也要为 mmap case 预先分配竞技场
错误修复 HIVE-25806：可能漏进去 LlapCacheAwareFs ——Parquet，LLAP IO
错误修复 HIVE-23498：在开启时禁用 HTTP 跟踪方法 ThriftHttpCliService
错误修复 HIVE-25729： ThriftUnionObjectInspector 应在完全启动后收到通知
错误修复 HIVE-23846：避免对位向量进行不必要的序列化和反序列化
错误修复 HIVE-24233：except 子查询在禁用 cbo 的情况下引发空指针
错误修复 HIVE-24276： HiveServer2 loggerconf jsp 跨站点脚本 (XSS) 漏洞
错误修复 HIVE-25721：外部联接结果错误
错误修复 HIVE-25223：带限制的选择不会在非本地表上返回任何行
错误修复 HIVE-25794: CombineHiveRecordReader: 循环中的日志语句会导致内存压力
错误修复 HIVE-23602：使用 Java Concurrent Package 作为操作句柄集
错误修复 HIVE-24045：没有与创建默认数据库的时间相关的日志
错误修复 HIVE-24305：如果将值括在引号中，avro 十进制架构无法正确填充比例/精度
错误修复 HIVE-25844：异常反序列化错误可能会导致 beeline 立即终止
错误修复 HIVE-25040：删除数据库级联无法删除永久函数
错误修复 HIVE-23501： VectorDeserializeRow 当复杂类型转换为原始类型时 AOOB
错误修复 HIVE-23704：Thrift HTTP 服务器无法正确处理身份验证处理
错误修复 HIVE-23529：使用 row_deserialize 时 uniontype 的 CTAS 被破坏
错误修复 HIVE-24144：中的 getIdentifierQuote字符串 HiveDatabaseMetaData 返回的值不正确
错误修复 HIVE-23850：当主题不是包含分组集的列时，允许 PPD
错误修复 HIVE-24036：序列化用于 getSplits UDF 调用的计划时出现 Kryo 异常
错误修复 HIVE-25919：在 H 中推送布尔列谓词 ClassCastException 时 BaseStorageHandler
错误修复 HIVE-25261：retryingHmsHandler 应该用对目标的简短描述来包裹 MetaException
错误修复 HIVE-24792：操作中可能出现线程泄漏
错误修复 HIVE-23409：如果由于时间轴服务关闭而导致 TezSession 应用程序重新打开失败， SessionPool 则重试后默认关闭 TezSession 自
错误修复 HIVE-23615：不要在 Beeline Commands 类中使用空指针
错误修复 HIVE-24849：当位置有大量文件时创建外部表套接字超时（影响 3.1.2）
错误修复 HIVE-24193：在重命名的 hive acid 表上选择查询不会产生任何输出
错误修复 HIVE-25209：使用 SUM 函数的 SELECT 查询生成意外结果
错误修复 HIVE-23666：如果分组依据运算符没有设置分组，则会跳过 checkHashMode效率
错误修复 HIVE-23873：当 CBO 关闭时，使用 NPE 查询 Hive JDBC StorageHandler 表失败
错误修复 HIVE-24149： HiveStreamingConnection 无法关闭 HMS 连接
错误修复 HIVE-25561：被终止的任务不应提交文件。（影响 2.x 和 3.x 版本）
错误修复 HIVE-25683：关闭读取器进去 AcidUtils。 isRawFormat文件
错误修复 HIVE-24294： TezSessionPool 会话可能会引发 AssertionError
错误修复 HIVE-24182：永久 UDF 存在 Ranger 授权问题
错误修复 HIVE-22805：使用条件数组或映射的向量化未实现并引发错误
错误修复 HIVE-22828：Decimal64：NVL 和 CASE 语句隐式地将 decimal64 转换为 128
错误修复 HIVE-21398：不应将包含估计统计数据的列视为唯一键
错误修复 HIVE-22490：添加路径中包含特殊字符的 jar 引发错误
错误修复 HIVE-22700：未经授权的压缩可能会泄漏内存
错误修复 HIVE-22053：创建函数时函数名称未标准化
错误修复 HIVE-22595：在带有外部架构的 Avro 表上进行动态分区插入失败
错误修复 HIVE-21795：在分区表上正在进行 mapjoin 时，Rollup 摘要行可能会丢失
错误修复 HIVE-22987： ClassCastException in when VectorCoalesce wh DataTypePhysicalVariation en 为空
错误修复 HIVE-22814： ArrayIndexOutOfBound 在矢量化中 getDataType PhysicalVariation
错误修复 HIVE-22523：如果队列已满，中的错误处理程序 LlapRecordReader 可能会阻塞
错误修复 HIVE-21796： ArrayWritableObjectInspector.equals 可能需要 O (2^nesting_depth) 时间
错误修复 HIVE-22929：性能：带引号的标识符解析通过 String.replaceAll() 使用一次性正则表达式
错误修复 HIVE-21641：与 beeline 相比，Llap 外部客户端返回精度/小数位数不同的十进制列
错误修复 HIVE-22207：Tez： NumberFormatException 当集群上的 “dfs.block.size” 为 “128m” 时 SplitGenerator 抛出
错误修复 HIVE-22114：当所有存储桶都为空时，仅限分区插入表的插入查询失败
错误修复 HIVE-22165：HIVE-14296 在 SessionManager .closeSession 上引入的同步会导致繁忙的 Hive 服务器出现高延迟
错误修复 HIVE-22744： TezTask 对于具有多个外边的顶点，应具有比例排序存储器
错误修复 HIVE-22072：更改表格以进行列更改不会更新约束引用
错误修复 HIVE-22075：修复 HIVE-14200 中的 max-reducers=1 回归
错误修复 HIVE-22527：Hive on Tez：合并小文件的作业将提交到另一个队列（默认队列）
错误修复 HIVE-22816: QueryCache: 使用视图的查询可以在 CTE 扩展后对其进行缓存
错误修复 HIVE-22733：在 Hive 中禁用操作日志属性后，HS2 仍在保存操作日志
错误修复 HIVE-22699：遮罩 UDF 应遮蔽数值 0
错误修复 HIVE-23356：使用分组集表达式处理查询时，哈希聚合始终处于禁用状态。
错误修复 HIVE-21568： HiveRelOptUtil。 isRowFiltering计划应跳过项目
错误修复 HIVE-21760：对于 SMB 联接，应绕过 Sharedwork 优化
错误修复 HIVE-22712：无论用户定义的队列如何， ReExec 驱动程序都会在默认队列中执行提交查询
错误修复 HIVE-21397： BloomFilter 对于 Hive Managed [ACID] 表无法按预期工作
错误修复 HIVE-23011：在比较联接时，共享工作优化程序应检查剩余谓词
错误修复 HIVE-21412： PostExecOrcFileDump 不适用于 ACID 表
错误修复 HIVE-22201: ArrayIndexOutOfBoundsException 如果没有选择大桌子，则checkShuffleSizeForLargeTable 抛出 ConvertJoinMapJoin #
错误修复 HIVE-21971：由于 `:: CONSTRUCTOR_CACHE` ReflectionUtils 带有临时函数 + genericUDF，HS2 泄露了类加载器
错误修复 HIVE-21368：矢量化：不必要的十进制 64-> 转换 HiveDecimal
错误修复 HIVE-25416：Hive 元数据仓内存泄漏是因为错误 datanucleus-api-jdo
错误修复 HIVE-22219：关闭节点管理器会阻止 LLAP 服务的重启
错误修复 HIVE-21793：即使 hive.stats.fetch.column.stats 设置为 false，CBO 也会检索列统计信息
错误修复 HIVE-22163：CBO：启用 CBO 会开启统计数据估计，即使禁用估算功能也是如此
错误修复 HIVE-18735：像丢失交易属性一样创建表
错误修复 HIVE-22433：Hive JDBC 存储处理器：从 BOOLEAN 获取的结果不正确，从 JDBC 数据源获取的时间戳 DataType 结果不正确
错误修复 HIVE-19430： ObjectStore。 cleanNotificationEvents OutOfMemory 关于大量待处理的事件
错误修复 HIVE-20785：JD DatabaseMetaData BC 中的密钥名称错误。 getPrimaryKeys 方法
错误修复 HIVE-16116：当 beeline.properties 中存在 beeline.hiveconfvariables={} 时 beeline 会引发 NPE
错误修复 HIVE-20066：将 hive.load.data.owner 与完整主体进行比较
错误修复 HIVE-20489：解释查询挂起的计划
错误修复 HIVE-21033：忘记关闭操作会切断更多 HiveServer 2 个输出
错误修复 HIVE-19888：来自的误导性 “METASTORE_FILTER_HOOK 将被忽略” 警告 SessionState
错误修复 HIVE-20303：INSERT OVERWRITE TABLE db.table PARTITION (...) 如果不存在则投掷 InvalidTableException
错误修复 HIVE-16144： CompactionInfo 没有 equals/HashCode 但在 Set 中使用
错误修复 HIVE-20818：使用 WHERE 子查询创建的视图会将子查询中引用的视图视为直接输入
错误修复 HIVE-21005：LLAP：每次拆分都会读取更多条纹泄漏 ZlibCodecs
错误修复 HIVE-20771：在空结构上 LazyBinarySerDe 失败。
错误修复 HIVE-18852：变更表验证中出现误导性错误消息
错误修复 HIVE-21124：HPL/SQL 不支持 CREATE TABLE LIKE 语句
错误修复 HIVE-20935：在 EC2 中上传 llap 包压缩包 tarball 失败导致 LLAP 服务启动失败
错误修复 HIVE-20409：Hive ACID：更新/删除/合并无法清理 hdfs 暂存目录
错误修复 HIVE-20570：包含 hive.optimize.union.remove=true 的 Union ALL 计划不正确
错误修复 HIVE-20421：hive-default.xml.template 中存在非法字符实体“\b”
错误修复 HIVE-19133：HS2 WebUI 分阶段性能指标显示不正确
错误修复 HIVE-18977：使用 JDO 和直接 SQL 列出分区会返回不同的结果
错误修复 HIVE-20034：回滚 MetaStore 异常处理更改以实现向后兼容
错误修复 HIVE-20672：登录线程 LlapTaskSchedulerService 应每隔固定时间间隔报告一次
错误修复 HIVE-12812：默认启用 mapred.input.dir.recursive 以支持与聚合函数的合并
错误修复 HIVE-20147：Hive 流式传输提取满足于同步日志记录
错误修复 HIVE-19203：中的线程安全问题 HiveMetaStore
错误修复 HIVE-20091：Tez：为 FileSinkOperator 输出添加安全证书
错误修复 HIVE-16906：在连接 ATS 之前，Hive ATSHook 应检查 yarn.timeline-service.enabled
错误修复 HIVE-20714：显示单个属性的 tblproperties 将返回名称列中的值
错误修复 HIVE-24730：Shims 类以静默方式覆盖来自 hive-site.xml 和 tez-site.xml 的值
错误修复 HIVE-22055：从文本文件加载数据后，选择计数给出的结果不正确