亚马逊EMR在 EKS 6.7.0 版本上 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊EMR在 EKS 6.7.0 版本上

以下亚马逊 EMR 6.7.0 版本可在亚马逊EMR上使用。EKS选择特定的 emr-6.7.0 XXXX 版本以查看更多详细信息,例如相关的容器映像标签。

亚马逊 EMR 6.7.0 版本说明

  • 受支持的应用程序 ‐ Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。

  • 受支持的组件 – aws-hm-client(Glue 连接器)、aws-sagemaker-spark-sdkemr-s3-selectemrfsemr-ddbhudi-spark

  • 升级到 JEG 2.6 后,内核管理现在是异步的,这意味着在内核启动过程中JEG不会阻止事务。这通过提供以下功能极大地改善了用户体验:

    • 在其他内核启动过程中在当前运行的 Notebook 中执行命令的功能

    • 同时启动多个内核而不会影响已在运行的内核的功能

  • 受支持的配置分类:

    分类 描述

    core-site

    更改 Hadoop core-site.xml 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 Spark metrics.properties 文件中的值。

    spark-defaults

    更改 Spark spark-defaults.conf 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 Spark hive-site.xml 文件中的值。

    spark-log4j

    更改 Spark log4j.properties 文件中的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如spark-hive-site.xml。有关更多信息,请参阅配置应用程序

已解决的问题

  • EKS6.7 版EMR的亚马逊修复了 6.6 中将 Apache Spark 的容器模板功能与交互式终端节点一起使用时出现的问题。该问题出现在亚马逊 EMR 6.4、6.5和6.6 EKS 版本中。现在,您可以使用 Pod 模板来定义使用交互式端点来运行交互式分析时,Spark 驱动程序和执行程序 Pod 的启动方式。

  • 在之前的 Amaz EMR on on EKS 版本中,Jupyter Enterprise Gateway 会在内核启动时阻止交易,这会阻碍当前正在运行的笔记本会话的执行。您现在可以在其他内核启动过程中在当前运行的 Notebook 中执行命令。您还可以同时启动多个内核,而不会丢失与已在运行的内核的连接。