本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 EMR 7.5.0-Hadoop 发行说明
亚马逊 EMR 7.5.0-Hadoop 变更
| Type | 说明 |
|---|---|
|
错误修复 |
将 fs.file.impl 注释为空值。 |
|
逆向移植 |
HADOOP-19286 |
|
改进 |
开启 S3A 连接器的自动 S3 区域配置设置 EMR-EC2 |
|
改进 |
减少 S3A 中的 HeadObject 通话次数 |
随着Amazon EMR 7.5的发布,Spark的S3A连接器的读取性能与EMRFS相当,使用3TB镶木地板数据集的基准测试就证明了这一点。 TPC-DS
亚马逊 EMR 7.5.0-Hadoop 功能
-
S3 区域配置
fs.s3a.endpoint.region会自动设置为启动 EMR 集群并使用 S3A 连接器进行部署的区域。 EMR-EC2 S3A 连接器默认启用 Amazon S3 跨存储桶区域访问。可以通过设置
fs.s3a.cross.region.access.enabled=来对其进行修改。true or false