Amazon EMR 7.7.0：Hadoop 发布说明 - Amazon EMR
Amazon EMR 7.7.0：Hadoop 更改Amazon EMR 7.7.0：Hadoop 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon EMR 7.7.0：Hadoop 发布说明

Amazon EMR 7.7.0：Hadoop 更改

类型 描述

新功能

使用 S3 前缀列表优化 S3A GlobStatus 调用

逆向移植

YARN-7327：默认情况下为容量计划程序启用异步计划

逆向移植

YARN-10058：处理异步计划线程的未捕获异常以防止计划程序挂起

逆向移植

YARN-11732：修复调用 CapacityScheduler 的 SchedulerNode#reservedContainer 时出现的潜在 NPE

逆向移植

YARN-11560：修复为多节点启用异步计划时出现的 NPE 错误

逆向移植

YARN-11191：修复 GlobalScheduler refreshQueues 中的潜在死锁

逆向移植

YARN-11041：将 QueuePath 的所有实例替换为新的 QueuePath 类

逆向移植

YARN-11660：修复 SingleConstraintAppPlacementAllocator 的性能回归

逆向移植

HADOOP-19116：由于 CVE-2024-23944，更新至 zookeeper 客户端 3.8.4。

逆向移植

HADOOP-19115：由于 CVE-2023-52428，升级到 nimbus-jose-jwt 9.37.2。

逆向移植

HADOOP-19024：使用 bouncycastle jdk18 1.77

逆向移植

HADOOP-19123：由于 CVE，更新到 commons-configuration2 2.10.1

逆向移植

HADOOP-19114：由于 CVE，升级到 commons-compress 1.26.1

逆向移植

HADOOP-19237：由于 CVE，升级到 dnsjava 3.6.1

新功能

为 S3A 添加 S3 请求审计

逆向移植

HADOOP-17609：将 SM4 支持设置为 OpenSSL 原生代码的可选项

逆向移植

HADOOP-18583：hadoop checknative 加载 openssl 3.x 失败

新功能

添加对 S3A 角色映射的支持

Amazon EMR 7.7.0：Hadoop 功能

  • 异步容器计划是容量计划程序的默认计划策略，旨在优化容器分配速度。

  • S3A 文件系统引入了对 glob 状态调用的优化，使用 S3 前缀列表来加速列表操作。默认情况下，此功能处于禁用状态，可以通过在 core-site.xml 文件中配置 fs.s3a.prefix.listing.in.glob.status.enabled=true 来启用。启用此优化后，服务器端可以对 globstatus 调用（例如 fs.globstatus("s3://bucket/a*")）进行筛选，通过仅列出以 "a" 开头的对象来提高列表性能。

  • 为 S3A 添加 S3 请求审计，启用后，系统将使用发出 S3 请求的用户和用户组字段填充 userAgent 字符串。

  • S3A 增加了对角色映射的支持，这有助于根据用户、组或 S3 前缀确定要使用的 IAM 角色。