亚马逊 EMR 7.6.0-Hadoop 发行说明 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 EMR 7.6.0-Hadoop 发行说明

亚马逊 EMR 7.6.0-Hadoop 变更

Type 说明

新功能

S3A 凭证售卖框架

新功能

S3A Magic Committer 对 Hive 的支持

逆向移植

HADOOP-19309:S3A:当源文件不包含文件架构时, CopyFromLocalFile 操作失败

逆向移植

HADOOP-19050 S3A:支持 S3 访问权限管控

逆向移植

HADOOP-18708 S3A:支持 S3 客户端加密 (CSE)

亚马逊 EMR 7.6.0-Hadoop 功能

  • yarn.scheduler.increment-allocation-mbyarn.scheduler.minimum-allocation-mb 的默认配置设置已从 32 修改为 1,这实际上禁用了 YARN 中的容器资源规范化。

  • Hadoop 中的 S3A 文件系统已得到增强,以支持请求级凭证售卖。借助此功能,发出的每个 Amazon S3 请求都将使用 AwsCredentialsProvider。这通过动态地为每个请求提供凭证来确保更高的灵活性和安全性。

  • Hadoop 中的 S3A 文件系统支持 S3 客户端加密。