Amazon EMR 7.4.0：Hadoop 发布说明 - Amazon EMR
Amazon EMR 7.4.0：Hadoop 更改Amazon EMR 7.4.0：Hadoop 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon EMR 7.4.0：Hadoop 发布说明

Amazon EMR 7.4.0：Hadoop 更改

类型 描述

Upgrade

Hadoop 版本已升级至 3.4.0，请参阅 OSS 发布说明。

错误修复

修复 FairScheduler 的负“待处理”和“已分配”Yarn 指标

错误修复

YARN-11702：修复 Yarn 过度分配容器问题

错误修复

改进缩小节点规模时的争用条件处理

改进

HADOOP-18679：添加用于批量/分页删除文件的 API

改进

HADOOP-19203：WrappedIO BulkDelete API，将 IOE 引发为 UncheckedIOExceptions

改进

HADOOP-19205：S3A：初始化/关闭速度比 v1 SDK 慢

改进

HADOOP-19161：S3A：用于获取性能标志列表的选项 fs.s3a.performance.flags

改进

HADOOP-19072：S3A：使用 fs.s3a.performance.flags 对 mkdir 扩展存储优化

Amazon EMR 7.4.0：Hadoop 功能

有关 Amazon EMR 7.4.0 中的 Hadoop 新功能，请参阅以下列表。

  • 默认配置值已进行微调，以实现最佳性能：

    • mapreduce.input.fileinputformat.list-status.num-threads=10 – 这是在 1 基础上增加的。

    • fs.s3a.block.size=64M – 这是在 32M 基础上增加的。

    • fs.s3a.multipart.size=128M – 这是在 64M 基础上增加的。

  • 开箱即用的性能增强优化，可使用 S3A 文件系统加速 MapReduce 作业。