Amazon EMR on EKS 7.8.0 版本
本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EC2 上运行的 Amazon EMR 以及 Amazon EMR 7.8.0 发行版的一般详细信息,请参阅《Amazon EMR 发行版指南》中的 Amazon EMR 7.8.0。
Amazon EMR on EKS 7.8 发行版
以下 Amazon EMR 7.8.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-7.8.0-XXXX 版本以查看更多详细信息,例如相关的容器映像标签。
发行说明
Amazon EMR on EKS 7.8.0 的发布说明
-
支持的应用程序 - 适用于 Java 的 Amazon SDK 2.29.52 and 1.12.780, Apache Spark 3.5.4, Apache Hudi 0.15.0-amzn-5, Apache Iceberg 1.7.1-amzn-1, Delta 3.3.0-amzn-0, Apache Spark RAPIDS 24.12.0-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-2, Flink Operator 1.10.0-amzn-2
-
支持的组件 ‐
emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
支持的配置分类
与 StartJobRun 和 CreateManagedEndpoint API 结合使用:
分类 描述 core-site更改
core-site.xmlHadoop 文件中的值。emrfs-site更改 EMRFS 设置。
spark-metrics更改
metrics.propertiesSpark 文件中的值。spark-defaults更改
spark-defaults.confSpark 文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改
hive-site.xmlSpark 文件中的值。spark-log4j2更改
log4j2.propertiesSpark 文件中的值。emr-job-submitter任务提交者 Pod 的配置。
专门用于 CreateManagedEndpoint API:
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如
spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序。
更改
Amazon EMR on EKS 发行版 7.8.0 包含以下更改:
原生 FGAC 功能,包括:
Iceberg 支持运行对精细访问控制 (FGAC) 虚拟集群中的 Lake Formation 表执行操作的作业。(可回退到 IAM。)
S3 表支持
-
Spark 连接