新增功能

Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

Amazon EMR 托管式自动扩缩功能 现已在 ap-southeast-3 亚太地区（雅加达）区域开放，可用于您使用 Amazon EMR 6.14.0 及更高版本创建的集群。

6.14.0 发行版通过在 Amazon EC2 上运行的 Amazon EMR 来优化日志管理。因此，您可能会看到集群日志的存储成本略有降低。

6.14.0 发行版改进了扩展工作流，以满足 Amazon EBS 卷大小差异很大的不同核心实例需求。此改进仅适用于核心节点；任务节点的缩减操作不受影响。

6.14.0 发行版改进了 Amazon EMR 与 Apache Hadoop YARN ResourceManager and HDFS NameNode 等开源应用程序交互的方式。此改进降低了集群扩展导致操作延迟的风险，并减少了由于开源应用程序连接问题导致的启动故障。

6.14.0 发行版优化了集群启动时的应用程序安装。此改进缩短了某些 Amazon EMR 应用程序组合的集群启动时间。

6.14.0 发行版修复了在具有自定义域的 VPC 上运行的集群遇到核心节点或任务节点重启时，集群的缩减操作可能会停滞的问题。

当您使用 Amazon EMR 5.36 或更高版本或 6.6 或更高版本的最新补丁版本启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2 版本作为默认 Amazon EMR AMI。如需更多信息，请参阅 Using the default Amazon Linux AMI for Amazon EMR。

Amazon EMR 版本 5.36.1 增加了对在集群缩减期间将日志存档到 Amazon S3 的支持。在之前的 5.x 版本中，您只能在集群终止期间将日志文件存档到 Amazon S3。这项改进可确保即使在节点终止后，集群上生成的日志文件仍保留在 Amazon S3 上。有关更多信息，请参阅配置集群日志记录和调试。

5.36.1 版本改进了集群上日志管理进程守护程序，以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。

5.36.1 版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。

5.36.1 版本修复了主节点上的 Amazon EMR 进程守护程序会维护集群中已终止实例的过时元数据的问题。维护陈旧的数据可能会导致集群上的 CPU 和内存使用量无限增长，并最终导致集群故障。

对于使用多个主节点启动的集群，5.36.1 版本修复了其中一个主节点上的 Amazon EC2 硬件故障可能导致第二个主节点出现故障并导致集群不稳定的问题。

对于配置了传输中加密的集群，托管扩展现在支持 Spark shuffle 数据感知。Spark shuffle 数据是 Spark 跨分区重新分配以执行特定操作的数据。在缩减期间，托管扩展会忽略带有随机数据的实例。这样可以防止任务的重新尝试和重新计算，这些都会给价格和性能带来高昂的代价。有关随机排序操作的更多信息，请参阅 Spark 编程指南。

当您使用 Amazon EMR 5.36 或更高版本或 6.6 或更高版本的最新补丁版本启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2 版本作为默认 Amazon EMR AMI。如需更多信息，请参阅 Using the default Amazon Linux AMI for Amazon EMR。