View a markdown version of this page

亚马逊 EMR 7.7.0-Hadoop 发行说明 - Amazon EMR
亚马逊 EMR 7.7.0-Hadoop 变更亚马逊 EMR 7.7.0-Hadoop 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 EMR 7.7.0-Hadoop 发行说明

亚马逊 EMR 7.7.0-Hadoop 变更

Type 说明

新功能

使用 S3 前缀列表优化 S3A GlobStatus 呼叫

逆向移植

YARN-7327: 默认情况下为容量调度器启用异步调度

逆向移植

YARN-10058: 处理异步调度线程的未捕获异常以防止调度器挂起

逆向移植

YARN-11732: 调用 SchedulerNode #reservedContainer for 时修复潜在的 NPE CapacityScheduler

逆向移植

YARN-11560: 修复异步调度启用多节点时的 NPE 错误

逆向移植

YARN-11191: 修复 refreshQueues 中潜在的死锁 GlobalScheduler

逆向移植

YARN-11041: 用新类替换 QueuePath 的所有出现次数 QueuePath

逆向移植

YARN-11660: 修复以下各项的性能回归问题 SingleConstraintAppPlacementAllocator

逆向移植

HADOOP-19116: 更新到 zookeeper 客户端 3.8.4，原因是。 CVE-2024-23944

逆向移植

HADOOP-19115: 升级到 nimbus-jose-jwt 9.37.2，原因是。 CVE-2023-52428

逆向移植

HADOOP-19024: 使用 bouncycastle jdk18 1.77

逆向移植

HADOOP-19123: 由于 CVE，已更新到 commons-configuration2 2.10.1

逆向移植

HADOOP-19114: 由于 CVE，升级到 commons-compress 1.26.1

逆向移植

HADOOP-19237: 由于 CVE 的缘故，升级到 dnsjava 3.6.1

新功能

为 S3A 添加 S3 请求审计

逆向移植

HADOOP-17609: 将 SM4 支持设置为 OpenSSL 原生代码的可选

逆向移植

HADOOP-18583: hadoop checknative 无法加载 openssl 3.x

新功能

添加对 S3A 角色映射的支持

亚马逊 EMR 7.7.0-Hadoop 功能

  • 异步容器计划是容量计划程序的默认计划策略，旨在优化容器分配速度。

  • S3A 文件系统引入了对 glob 状态调用的优化，使用 S3 前缀列表来加速列表操作。默认情况下，此功能处于禁用状态，可以通过在 core-site.xml 文件中配置 fs.s3a.prefix.listing.in.glob.status.enabled=true 来启用。启用此优化后，服务器端可以对 globstatus 调用（例如 fs.globstatus("s3://bucket/a*")）进行筛选，通过仅列出以 "a" 开头的对象来提高列表性能。

  • 将 S3 请求审计添加到 S3A，启用后，文件SystemOwner 对象中的信息将使用发出 S3 请求的用户和用户组字段填充 UserAgent 字符串。

  • S3A 增加了对角色映射的支持，这有助于根据用户、组或 S3 前缀确定要使用的 IAM 角色。