亚马逊 EMR 7.7.0-Hadoop 发行说明 - Amazon EMR
亚马逊 EMR 7.7.0-Hadoop 变更亚马逊 EMR 7.7.0-Hadoop 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 EMR 7.7.0-Hadoop 发行说明

亚马逊 EMR 7.7.0-Hadoop 变更

Type 说明

新功能

使用 S3 前缀列表优化 S3A GlobStatus 呼叫

逆向移植

YARN-7327：默认情况下为容量计划程序启用异步计划

逆向移植

YARN-10058：处理异步计划线程的未捕获异常以防止计划程序挂起

逆向移植

YARN-11732：在致电 SchedulerNode #reservedContainer 时修复潜在的 NPE CapacityScheduler

逆向移植

YARN-11560：修复为多节点启用异步计划时出现的 NPE 错误

逆向移植

YARN-11191：修复 refreshQueues 中可能出现的死锁 GlobalScheduler

逆向移植

YARN-11041：用新类替换 QueuePath 的所有出现次数 QueuePath

逆向移植

YARN-11660：修复以下各项的性能回归问题 SingleConstraintAppPlacementAllocator

逆向移植

HADOOP-19116：由于 CVE-2024-23944，更新至 zookeeper 客户端 3.8.4。

逆向移植

HADOOP-19115：由于 CVE-2023-52428，升级到 nimbus-jose-jwt 9.37.2。

逆向移植

HADOOP-19024：使用 bouncycastle jdk18 1.77

逆向移植

HADOOP-19123：由于 CVE，更新到 commons-configuration2 2.10.1

逆向移植

HADOOP-19114：升级到 commons-compress 1.26.1，原因是 CVEs

逆向移植

HADOOP-19237：由于以下原因，升级到 dnsjava 3.6.1 CVEs

新功能

为 S3A 添加 S3 请求审计

逆向移植

HADOOP-17609：将对 OpenSSL 原生代码的 SM4 支持设为可选

逆向移植

HADOOP-18583：hadoop checknative 加载 openssl 3.x 失败

新功能

添加对 S3A 角色映射的支持

亚马逊 EMR 7.7.0-Hadoop 功能

  • 异步容器计划是容量计划程序的默认计划策略，旨在优化容器分配速度。

  • S3A 文件系统引入了对 glob 状态调用的优化，使用 S3 前缀列表来加速列表操作。默认情况下，此功能处于禁用状态，可以通过在 core-site.xml 文件中配置 fs.s3a.prefix.listing.in.glob.status.enabled=true 来启用。启用此优化后，服务器端可以对 globstatus 调用（例如 fs.globstatus("s3://bucket/a*")）进行筛选，通过仅列出以 "a" 开头的对象来提高列表性能。

  • 将 S3 请求审计添加到 S3A，启用后，来自 fileSystemOwner 对象的信息将使用发出 S3 请求的用户和用户组字段填充 UserAgent 字符串。

  • S3A 增加了对角色映射的支持，这有助于根据用户、组或 S3 前缀确定要使用的 IAM 角色。