Amazon EMR on EKS 6.7.0 版本 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR on EKS 6.7.0 版本

以下 Amazon EMR 6.7.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.7.0-XXXX 版本以查看更多详细信息,例如相关的容器映像标签。

Amazon EMR 6.7.0 的发布说明

  • 受支持的应用程序 ‐ Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。

  • 受支持的组件 – aws-hm-client(Glue 连接器)、aws-sagemaker-spark-sdkemr-s3-selectemrfsemr-ddbhudi-spark

  • 升级到 JEG 2.6 后,内核管理现在是异步的,这意味着 JEG 不会在内核启动过程中阻塞事务。这通过提供以下功能极大地改善了用户体验:

    • 在其他内核启动过程中在当前运行的笔记本中执行命令的功能

    • 同时启动多个内核而不会影响已在运行的内核的功能

  • 受支持的配置分类:

    分类 描述

    core-site

    更改 Hadoop core-site.xml 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 Spark metrics.properties 文件中的值。

    spark-defaults

    更改 Spark spark-defaults.conf 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 Spark hive-site.xml 文件中的值。

    spark-log4j

    更改 Spark log4j.properties 文件中的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如 spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序

已解决的问题

  • Amazon EMR on EKS 6.7 修复了 6.6 中将 Apache Spark 的 Pod 模板功能与交互式端点结合使用时的问题。Amazon EMR on EKS 版本 6.4、6.5 和 6.6 中存在此问题。现在,您可以使用 Pod 模板来定义使用交互式端点来运行交互式分析时,Spark 驱动程序和执行程序 Pod 的启动方式。

  • 在之前的 Amazon EMR on EKS 版本中,Jupyter Enterprise Gateway 会在内核启动过程中阻止事务,这阻碍了当前正在运行的笔记本会话的执行。您现在可以在其他内核启动过程中在当前运行的笔记本中执行命令。您还可以同时启动多个内核,而不会丢失与已在运行的内核的连接。