Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅
中国的 Amazon Web Services 服务入门
(PDF)。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
EKS 7.9.0 版本上的 Amazon EMR
本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊上运行的亚马逊 EMR EC2 以及亚马逊 EMR 7.9.0 版本的总体详情,请参阅《亚马逊 EMR 发布指南》中的 Amazon EM R 7.9. 0。
EKS 7.9 版本上的 Amazon EMR
以下亚马逊 EMR 7.9.0 版本可用于 EKS 上的亚马逊 EMR。选择特定的 EMR-7.9.0-xxxx 版本以查看更多详细信息,例如相关的容器映像标签。
- Flink releases
-
当您运行 Flink 应用程序时,以下亚马逊 EMR 7.9.0 版本可用于 EKS 上的亚马逊 EMR。
- Spark releases
-
当您运行 Spark 应用程序时,以下亚马逊 EMR 7.9.0 版本可用于 EKS 上的亚马逊 EMR。
-
emr-7.9.0-最新
-
emr-7.9.0-20250425
-
emr-7.9.0-spark-rapids-latest
-
emr-7.9.0-spark-rapids-20250425
-
emr-7.9.0-java11-latest
-
emr-7.9.0-java11-20250425
-
emr-7.9.0-java8-latest
-
emr-7.9.0-java8-20250425
-
emr-7.9.0-spark-rapids-java8-latest
-
emr-7.9.0-spark-rapids-java8-20250425
-
notebook-spark/emr-7.9.0-latest
-
notebook-spark/emr-7.9.0-20250425
-
notebook-spark/emr-7.9.0-spark-rapids-latest
-
notebook-spark/emr-7.9.0-spark-rapids-20250425
-
notebook-spark/emr-7.9.0-java11-latest
-
notebook-spark/emr-7.9.0-java11-20250425
-
notebook-spark/emr-7.9.0-java8-latest
-
notebook-spark/emr-7.9.0-java8-20250425
-
notebook-spark/emr-7.9.0-spark-rapids-java8-latest
-
notebook-spark/emr-7.9.0-spark-rapids-java8-20250425
-
notebook-python/emr-7.9.0-latest
-
notebook-python/emr-7.9.0-20250425
-
notebook-python/emr-7.9.0-spark-rapids-latest
-
notebook-python/emr-7.9.0-spark-rapids-20250425
-
notebook-python/emr-7.9.0-java11-latest
-
notebook-python/emr-7.9.0-java11-20250425
-
notebook-python/emr-7.9.0-java8-latest
-
notebook-python/emr-7.9.0-java8-20250425
-
notebook-python/emr-7.9.0-spark-rapids-java8-latest
-
notebook-python/emr-7.9.0-spark-rapids-java8-20250425
-
livy/emr-7.9.0-latest
-
livy/emr-7.9.0-20250425
-
livy/emr-7.9.0-java11-latest
-
livy/emr-7.9.0-java11-20250425
-
livy/emr-7.9.0-java8-latest
-
livy/emr-7.9.0-java8-20250425
发行说明
EKS 7.9.0 上亚马逊 EMR 的发布说明
-
支持的应用程序 - 适用于 Java 的 Amazon SDK
2.31.16 and 1.12.782, Apache Spark 3.5.5, Apache Hudi 0.15.0-amzn-6,
Apache Iceberg 1.7.1-amzn-2, Delta 3.3.0-amzn-1, Apache Spark RAPIDS 25.02.1-amzn-0,
Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-3, Flink Operator 1.10.0-amzn-3
-
支持的组件-emr-ddb emr-goodies、emr-s3-select、、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。
-
支持的配置分类
与StartJobRun和一起使用 CreateManagedEndpoint APIs:
| 分类 |
描述 |
|
core-site
|
更改 core-site.xml Hadoop 文件中的值。
|
|
emrfs-site
|
更改 EMRFS 设置。
|
|
spark-metrics
|
更改 metrics.properties Spark 文件中的值。
|
|
spark-defaults
|
更改 spark-defaults.conf Spark 文件中的值。
|
|
spark-env
|
更改 Spark 环境中的值。
|
|
spark-hive-site
|
更改 hive-site.xml Spark 文件中的值。
|
|
spark-log4j2
|
更改 log4j2.properties Spark 文件中的值。
|
emr-job-submitter
|
任务提交者 Pod 的配置。
|
专门用于以下用途 CreateManagedEndpoint APIs:
| 分类 |
描述 |
|
jeg-config
|
更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。
|
|
jupyter-kernel-overrides
|
更改 Jupyter 内核规范文件中内核映像的值。
|
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如 spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序。
更改
EKS 上的 Amazon EMR 7.9.0 版本中包含以下更改: