本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
新增功能
本页介绍了 Amazon EMR 7.x、6.x 和 5.x 最新发行版中的更改和可用功能。
Amazon EM R 7.9.0、Amazon EMR 6.15.0 和 Amazon EMR 5.36.2 页面上也提供了这些发布说明,以及应用程序版本、组件版本和每个发行版的可用配置分类。
-
有关早期发行版的发布说明,请参阅 发布说明的 Amazon EMR 存档。
-
要在新的 Amazon EMR 发行版可用时接收更新,请订阅 RSS 源以获取 Amazon EMR 发布说明。
注意
Amazon EMR 的较新版本现在使用 Amazon 签名版本 4(SigV4)对发送到 Amazon S3 的请求进行身份验证。我们建议您使用支持 SigV4 的 Amazon EMR 发行版,这样您可以访问新的 S3 存储桶,避免工作负载中断。有关更多信息和支持 SigV4 的 Amazon EMR 发行版列表,请参阅 Amazon EMR 和 Amazon 签名版本 4。
Amazon EMR 7.9.0(7.x 系列的最新版本)
从初始发布日期的第一个区域开始,新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间,您所在区域可能无法提供最新发行版。
以下发布说明包括有关 Amazon EMR 发行版 7.9.0 的信息。
新特征
-
应用程序升级 – Amazon EMR 7.9.0 application upgrades include Amazon SDK for Java 2.31.16/1.12.782, Delta 3.3.0-amzn-1, Hadoop 3.4.1, Hudi 0.15.0-amzn-6, Iceberg 1.7.1-amzn-2, Spark 3.5.5, and Zookeeper 3.9.3。
CM-CMK 支持永久应用程序 UI — 此功能扩展了应用于 EMR 服务存储区中管理的日志的 SSE 加密,以支持客户托管的自定义主密钥 (CM-CMK)。此功能使客户能够在集群终止后管理日志的可访问性。
已知问题
禁用 EMR 的日志记录选项后,集群终止后日志将不可用,永久应用程序 UIs 将不包含任何日志。 EC2
更改、增强功能和解决的问题
-
Oozie 弃用 — 由于 OSS Oozie 已进入阁楼模式,因此最后一个包含 Apache Oozie 的版本是亚马逊 EMR 7.9 版本。Apache Oozie 将从亚马逊 EMR 7.10 及更高版本中删除。我们建议您使用 MWAA 来代替 Oozie。客户可以参考该实用程序oozie-to-airflow-emr
将现有的 Oozie 工作流程迁移 GitHub 到 MWAA。 -
YARN 容器箱包装 — 从 Amazon EMR 7.9.0 版本开始,YARN 容量调度器现在可以使用容器箱打包政策,该计划建立在 YARN 的多节点放置策略之上。
hudi-cli.sh — hudi-cli.sh 脚本已在 EMR 7.9.0 及更高版本中被弃用。亚马逊 EMR 7.9.0 及更高版本使用.jar。hudi-cli-bundle
支持 FIPS 的 AL2 023 AMI 上的 EMR 集群 — 从 EMR 7.9 开始,客户可以在支持 FIPS 的 023 AMI 上启动 EMR 集群。 AL2此更改更新了 EMR 的数字签名和哈希算法,以确保所有 EMR 包都符合 FIPS 140-3 推荐的加密策略。注意:这不包括 EMR AL2 或 023 的 FIPS 认证状态——有关 FIPS 140-3 验证状态的最新信息,请参阅 AL2023 FIPS
常见问题解答。
-
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2023.7.20250331.0 6.1.131-143.221.amzn2023 2025 年 4 月 18 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、亚太地区(马来西亚)、墨西哥(中部)、亚太地区(东京) 2023.6.20250303.0 6.1.129-138.220.amzn2023 2025 年 3 月 27 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、亚太地区(马来西亚)、墨西哥(中部) 2023.6.20250218.2 6.1.128-136.201.amzn2023 2025 年 3 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、亚太地区(马来西亚)、墨西哥(中部) 2023.6.20250211.0 6.1.127-135.201.amzn2023 2025 年 2 月 26 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(西班牙)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、亚太地区(马来西亚)、墨西哥(中部)
Amazon EMR 6.15.0(6.x 系列的最新版本)
从初始发布日期的第一个区域开始,新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间,您所在区域可能无法提供最新发行版。
以下发布说明包括有关 Amazon EMR 发行版 6.15.0 的信息。更改与 6.14.0 有关。有关发布时间表的更多信息,请参阅 6.15.0 更改日志。
新特征
-
应用程序升级 – Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
-
在上运行的 EMR 集群启动更快 EC2 — 现在,在集群上
启动 Amazon EMR 的速度最多可提高 35%。 EC2 通过这一改进,大多数客户可以在 5 分钟或更短时间内启动集群。 -
CodeWhisperer 适用于 EMR Studio — 现在,您可以将 Amazon 与 A CodeWhisperer mazon EMR Studio 结合使用,在编写代码时获得实时建议。 JupyterLab CodeWhisperer 可以完成您的注释、完成单行代码、提出 line-by-line建议并生成格式完整的函数。
-
使用 Flink 可以缩短作业重启时间 – 在 Amazon EMR 6.15.0 及更高版本中,Apache Flink 有几种新机制可用于缩短任务恢复或扩展操作期间的作业重启时间。这样可以优化执行图的恢复和重启速度,从而提高作业稳定性。
-
开放表格式的表格级和精细访问控制 — 在 Amazon EMR 6.15.0 及更高版本中,当您在访问 G l Amazon ue Amazon Lake Formation 数据目录中数据的 Amazon EMR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on ECR on EC2
-
Hadoop 升级 – Amazon EMR 6.15.0 包括将 Apache Hadoop 升级到版本 3.3.6。Hadoop 3.3.6 是 Apache 于 2023 年 6 月发布 Amazon EMR 6.15 部署时的最新版本。之前发布的 Amazon EMR 版本(6.9.0 至 6.14.x)使用了 Hadoop 3.3.3。
此次升级包括数百项改进和修复,以及包括可重新配置的数据节点参数的功能、在所有实时数据节点上启动批量重新配置操作的
DFSAdmin
选项,以及允许搜索量大的读者指定多个要读取的范围的向量化 API。Hadoop 3.3.6 还增加了对 HDFS APIs 的支持及其预写日志(WAL)的语义,因此 HBase 可以在其他存储系统实现上运行。有关更多信息,请参阅 Apache Hadoop 文档中的 3.3.4、3.3.5 和 3.3.6 版本的变更日志。 -
支持 Amazon SDK for Java 版本 2-如果应用程序支持 v2,Amazon EMR 6.15.0 应用程序可以使用 Amazon SDK for Java 版本 1.12.569
或 2.20.160。 S Amazon DK for Java 2.x 是对版本 1.x 代码库的重大改写。它基于 Java 8+ 构建,并增加了几个请求次数较多的功能。其中包括对非阻塞 I/O 的支持以及在运行时系统插入不同 HTTP 实现的功能。有关更多信息,包括从 SDK for Java v1 到 v2 的迁移指南,请参阅 Amazon SDK for Java 版本 2 指南。
更改、增强功能和解决的问题
为了改进您的高可用性 EMR 集群,此发行版允许在使用 IPv6 端点的本地主机上连接到 Amazon EMR 进程守护程序。
此发行版启用 TLS 1.2,以便与在高可用性 ZooKeeper 集群的所有主节点上预调配的 TLS 1.2 进行通信。
此发行版改进了在主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件超出边界并中断集群操作的情况。
此发行版使高可用性 EMR 集群的节点内通信更具弹性。此改进减小了引导操作失败或集群启动失败的几率。
-
Amazon EMR 6.15.0 中的 Tez 引入了配置,您可以指定这些配置来异步打开 Tez 分组拆分中的输入拆分。当单个 Tez 分组拆分中有大量输入拆分时,这样可以提高读取查询的性能。有关更多信息,请参阅 Tez 异步拆分打开。
当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的最新补丁版本启动集群时,Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息,请参阅 Using the default Amazon Linux AMI for Amazon EMR。
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2.0.20250428.0 4.14.355-276.639.amzn2 2025 年 5 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(米兰)、欧洲(巴黎)、欧洲(西班牙)、欧洲(斯德哥尔摩)、欧洲(苏黎世)、亚太地区(海得拉巴)、亚太地区(雅加达)、亚太地区(雅加达)、亚太(马来西亚)、亚太地区(墨尔本)、亚太地区(孟买)、亚太地区(大阪)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(马来西亚)、亚太地区(东京)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、加拿大西部(卡尔加里) Amazon GovCloud 、(美国东部) Amazon GovCloud 、(美国西部)、中国(北京)、中国(宁夏)、以色列(特拉维夫)、墨西哥(中部) 2.0.20250414.0 4.14.355-276.618.amzn2 2024 年 5 月 12 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.202503250321.0 4.14.355 2025 年 4 月 9 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250305.0 4.14.355 2025 年 3 月 18 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250220.0 4.14.355 2025 年 3 月 8 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250201.0 4.14.355 2025 年 2 月 28 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250123.4 4.14.355 2025 年 1 月 27 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250116.0 4.14.355 2025 年 1 月 23 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20241217.0 4.14.355 2025 年 1 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、中部东部(阿联酋)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、欧洲(苏黎世)、亚太地区(马来西亚) 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240719.0 4.14.3485 2024 年 7 月 25 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240709.1 4.14.3485 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里) 2.0.20240223.0 4.14.336 2024 年 3 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、 Amazon GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240131.0 4.14.336 2024 年 2 月 14 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、 Amazon GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240124.0 4.14.336 2024 年 2 月 7 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、 Amazon GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20240109.0 4.14.334 2024 年 1 月 24 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、 Amazon GovCloud (美国东部)、中国(北京)、中国(宁夏)、加拿大西部(卡尔加里) 2.0.20231218.0 4.14.330 2024 年 1 月 2 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、(美国东部)、中国 Amazon GovCloud (北京)、中国(北京)、中国(宁夏) 2.0.20231206.0 4.14.330 2023 年 12 月 22 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、(美国东部)、中国 Amazon GovCloud (北京)、中国(北京)、中国(宁夏) 2.0.20231116.0 4.14.328 2023 年 12 月 11 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、(美国东部)、中国 Amazon GovCloud (北京)、中国(北京)、中国(宁夏) 2.0.20231101.0 4.14.327 2023 年 11 月 13 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(西班牙)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(孟买)、亚太地区(海得拉巴)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、亚太地区(墨尔本)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、以色列(特拉维夫)、 Amazon GovCloud (美国西部)、(美国东部)、中国 Amazon GovCloud (北京)、中国(北京)、中国(宁夏)
Amazon EMR 5.36.2(5.x 系列的最新版本)
从初始发布日期的第一个区域开始,新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间,您所在区域可能无法提供最新发行版。
以下发布说明包括有关 Amazon EMR 版本 5.36.2 的信息。更改与 5.36.1 有关。有关发布时间表的信息,请参阅更改日志。
更改、增强功能和解决的问题
-
此版本改进了集群缩减逻辑,使 Amazon EMR 不会将核心节点缩减到低于集群 HDFS 复制因子设置的范围。此改进满足了数据冗余要求,并降低了扩展操作停止的可能性。
-
此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。此改进降低了由于单个调整大小操作失败而导致集群调整大小无限期运行的风险。它还可以提高集群利用率,因为您的集群可以更快地向上和向下扩展。
-
修复了一个问题,当 Amazon EMR 正常停用核心节点时,集群缩减操作可能会停止,并在完全停用之前运行状况不佳。
-
当 Amazon EMR 重新启动单个节点时,提高了具有多个主节点的高可用性集群中节点的稳定性。
-
通过在 Amazon 上运行的 Amazon EMR 优化日志管理。 EC2因此,您可能会看到集群日志的存储成本略有降低。
-
改进了在主节点上维护的 ZooKeeper 事务日志文件的管理,以最大限度地减少日志文件超出边界并中断集群操作的情况。
-
修复了一个罕见的错误,该错误可能导致具有多个主节点的高可用性集群因无法与 Yarn ResourceManager 通信而发生故障。
当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的最新补丁版本启动集群时,Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息,请参阅 Using the default Amazon Linux AMI for Amazon EMR。
OsReleaseLabel (亚马逊 Linux 版本) Amazon Linux 内核版本 可用日期 支持的区域 2.0.20250428.0 4.14.355-276.639.amzn2 2025 年 5 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(米兰)、欧洲(巴黎)、欧洲(西班牙)、欧洲(斯德哥尔摩)、欧洲(苏黎世)、亚太地区(海得拉巴)、亚太地区(雅加达)、亚太地区(雅加达)、亚太(马来西亚)、亚太地区(墨尔本)、亚太地区(孟买)、亚太地区(大阪)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(马来西亚)、亚太地区(东京)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、中东(阿联酋)、加拿大(中部)、加拿大西部(卡尔加里) Amazon GovCloud 、(美国东部) Amazon GovCloud 、(美国西部)、中国(北京)、中国(宁夏)、以色列(特拉维夫)、墨西哥(中部) 2.0.20250414.0 4.14.355-276.618.amzn2 2024 年 5 月 12 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.202503250321.0 4.14.355 2025 年 4 月 9 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250305.0 4.14.355 2025 年 3 月 18 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250220.0 4.14.355 2025 年 3 月 8 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250201.0 4.14.355 2025 年 2 月 28 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250123.4 4.14.355 2025 年 1 月 27 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20250116.0 4.14.355 2025 年 1 月 23 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20241217.0 4.14.355 2025 年 1 月 8 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、中部东部(阿联酋)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里)、欧洲(苏黎世) 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240719.0 4.14.3485 2024 年 7 月 25 日 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏) 2.0.20240709.1 4.14.3485 2024 年 7 月 23 日 美国东部(弗吉尼亚北部)、美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)、欧洲(米兰)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(东京)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡))、亚太地区(悉尼)、亚太地区(雅加达)、非洲(开普敦)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部)、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)、亚洲太平洋地区(海得拉巴)、中东(阿联酋)、欧洲(苏黎世)、亚太地区(墨尔本)、以色列(特拉维夫)、加拿大西部(卡尔加里) 2.0.20240503.0 4.14.343 2024 年 xxxxxx 美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、欧洲(斯德哥尔摩)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(首尔)、亚太地区(大阪)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(雅加达)、南美洲(圣保罗)、中东(巴林)、加拿大(中部)、(美国西部) Amazon GovCloud 、(美国东部) Amazon GovCloud 、中国(北京)、中国(宁夏)
Amazon EMR 和 Amazon 签名版本 4
Amazon EMR 发行版现在使用 Amazon 签名版本 4(SigV4)对发送到 Amazon S3 的请求进行身份验证。2020 年 6 月 24 日之后在 Amazon S3 中创建的存储桶不支持由签名版本 2(SigV2)签名的请求。2020 年 6 月 24 日或之前创建的存储桶将继续支持 SigV2。建议您迁移到支持 SigV4 的 Amazon EMR 发行版,这样您可以访问新的 S3 存储桶,避免工作负载中断。
如果您使用的是 Amazon EMR 中包含的应用程序,例如 Apache Spark、Apache Hive 和 Presto,则无需更改应用程序代码即可使用 SigV4。如果您使用的是 Amazon EMR 中未包含的自定义应用程序,则可能需要更新代码才能使用 SigV4。有关更多信息,请参阅《Amazon S3 用户指南》中的从签名版本 2 转向签名版本 4。
以下 Amazon EMR 发行版支持 SigV4:emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher。所有的 6.x 和 7.x 发行版都支持 SigV4。