Amazon EMR 7.2.0:Hadoop 发布说明 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR 7.2.0:Hadoop 发布说明

Amazon EMR 7.2.0:Hadoop 更改

类型 描述

新功能

HADOOP-18850:S3A:使用密钥启用双层服务器端加密 Amazon KMS

新功能

支持 S3 Glacier 读取还原的对象

改进

运行 Spark 作业时,根据内核动态扩展 S3A 最大连接数

改进

HADOOP-18797:使用 S3A Magic Committer 支持并发写入

改进

HADOOP-19047:Support InMemory 追踪 S3A Magic 的提交

改进

在 MagicV2 提交器中添加 “导出”、“发布” 和 “” 方法 AbortPublish

改进

在 S3A 中实现 ReadFullyIntoBuffers FileSystem API

错误修复

HADOOP-18793:S3A StagingCommitter 不会清理暂存上传目录

升级

HADOOP-19008:S3A:将 aws-sdk 版本更新到 2.21.41

升级

HADOOP-18613:升级 ZooKeeper 到 3.8.3 版

Amazon EMR 7.2.0:Hadoop 功能

有关 Amazon EMR 7.2.0 中的 Hadoop 新功能,请参阅以下列表。

  • S3 glacier 支持读取还原的对象:在 Amazon EMR 7.2.0 及更高版本中,您可以使用 S3A 协议从表的 S3 位置读取还原的 Glacier 对象。如果存档的 Glacier 文件仍在还原中,则此读取操作将忽略这些文件。

  • 使用 S3A magic committer 支持并发写入:Amazon EMR 7.2.0 引入了对 S3A magic committer 并发写入的支持。此功能已作为 HADOOP-18797 的一部分添加到 OSS Hadoop 社区。