本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊EMR在 EKS 6.7.0 版本上
以下亚马逊 EMR 6.7.0 版本可在亚马逊EMR上使用。EKS选择特定的 emr-6.7.0 XXXX 版本以查看更多详细信息,例如相关的容器映像标签。
亚马逊 EMR 6.7.0 版本说明
-
受支持的应用程序 ‐ Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。
-
受支持的组件 –
aws-hm-client
(Glue 连接器)、aws-sagemaker-spark-sdk
、emr-s3-select
、emrfs
、emr-ddb
、hudi-spark
。 -
升级到 JEG 2.6 后,内核管理现在是异步的,这意味着在内核启动过程中JEG不会阻止事务。这通过提供以下功能极大地改善了用户体验:
-
在其他内核启动过程中在当前运行的 Notebook 中执行命令的功能
-
同时启动多个内核而不会影响已在运行的内核的功能
-
-
受支持的配置分类:
分类 描述 core-site
更改 Hadoop
core-site.xml
文件中的值。emrfs-site
更改EMRFS设置。
spark-metrics
更改 Spark
metrics.properties
文件中的值。spark-defaults
更改 Spark
spark-defaults.conf
文件中的值。spark-env
更改 Spark 环境中的值。
spark-hive-site
更改 Spark
hive-site.xml
文件中的值。spark-log4j
更改 Spark
log4j.properties
文件中的值。配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如
spark-hive-site.xml
。有关更多信息,请参阅配置应用程序。
已解决的问题
-
EKS6.7 版EMR的亚马逊修复了 6.6 中将 Apache Spark 的容器模板功能与交互式终端节点一起使用时出现的问题。该问题出现在亚马逊 EMR 6.4、6.5和6.6 EKS 版本中。现在,您可以使用 Pod 模板来定义使用交互式端点来运行交互式分析时,Spark 驱动程序和执行程序 Pod 的启动方式。
-
在之前的 Amaz EMR on on EKS 版本中,Jupyter Enterprise Gateway 会在内核启动时阻止交易,这会阻碍当前正在运行的笔记本会话的执行。您现在可以在其他内核启动过程中在当前运行的 Notebook 中执行命令。您还可以同时启动多个内核,而不会丢失与已在运行的内核的连接。