View a markdown version of this page

亚马逊 EMR 7.4.0-Hadoop 发行说明 - Amazon EMR
亚马逊 EMR 7.4.0-Hadoop 变更亚马逊 EMR 7.4.0-Hadoop 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 EMR 7.4.0-Hadoop 发行说明

亚马逊 EMR 7.4.0-Hadoop 变更

类型 说明

升级

Hadoop 版本已升级至 3.4.0，请参阅 OSS 发布说明。

错误修复

修复负的 “待处理” 和 “已分配” Yarn 指标 FairScheduler

错误修复

YARN-11702 : 修复 Yarn 在分配容器时出现的问题

错误修复

改进缩小节点规模时的争用条件处理

改进

HADOOP-18679 : 添加用于 bulk/paged 删除文件的 API

改进

HADOOP-19203: Wrapped BulkDelete IO API 将 IOE 提升为 uncheckedIOExceptions

改进

HADOOP-19205: S3A：比 v1 SDK initialization/close 慢

改进

HADOOP-19161: S3A：选项 fs.s3a.performance.flags 用于获取性能标志列表

改进

HADOOP-19072: S3A：使用 mkdir 的 fs.s3a.performance.flags 扩展商店的优化

亚马逊 EMR 7.4.0-Hadoop 功能

有关亚马逊 EMR 7.4.0 中的新 Hadoop 功能，请参阅以下列表。

  • 默认配置值已进行微调，以实现最佳性能：

    • mapreduce.input.fileinputformat.list-status.num-threads=10：这是在 1 基础上增加的。

    • fs.s3a.block.size=64M：这是在 32M 基础上增加的。

    • fs.s3a.multipart.size=128M：这是在 64M 基础上增加的。

  • Out-of-the-box 性能增强优化，用于加速 S3A 文件系统的 MapReduce 作业。