本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon EMR on EKS 6.14.0 发行版
本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EC2 上运行的 Amazon EMR 以及 Amazon EMR 6.14.0 发行版的一般详细信息,请参阅《Amazon EMR 发行版指南》中的 Amazon EMR 6.14.0。
Amazon EMR on EKS 6.14 发行版
以下 Amazon EMR 6.14.0 发行版适用于 Amazon EMR on EKS。选择特定的 emr-6.14.0-XXXX 发行版以查看更多详细信息,例如相关的容器映像标签。
-
emr-6.14.0-spark-rapids-latest
-
emr-6.14.0-spark-rapids-20231005
-
emr-6.14.0-java11-latest
-
emr-6.14.0-java11-20231005
-
emr-6.14.0-java17-latest
-
emr-6.14.0-java17-20231005
-
emr-6.14.0-java17-al2023-latest
-
emr-6.14.0-java17-al2023-20231005
-
emr-6.14.0-spark-rapids-java17-latest
-
emr-6.14.0-spark-rapids-java17-20231005
-
emr-6.14.0-spark-rapids-java17-al2023-latest
-
emr-6.14.0-spark-rapids-java17-al2023-20231005
-
notebook-spark/emr-6.14.0-latest
-
notebook-spark/emr-6.14.0-20231005
-
notebook-spark/emr-6.14.0-spark-rapids-latest
-
notebook-spark/emr-6.14.0-spark-rapids-20231005
-
notebook-spark/emr-6.14.0-java11-latest
-
notebook-spark/emr-6.14.0-java11-20231005
-
notebook-spark/emr-6.14.0-java17-latest
-
notebook-spark/emr-6.14.0-java17-20231005
-
notebook-spark/emr-6.14.0-java17-al2023-latest
-
notebook-spark/emr-6.14.0-java17-al2023-20231005
-
notebook-python/emr-6.14.0-latest
-
notebook-python/emr-6.14.0-20231005
-
notebook-python/emr-6.14.0-spark-rapids-latest
-
notebook-python/emr-6.14.0-spark-rapids-20231005
-
notebook-python/emr-6.14.0-java11-latest
-
notebook-python/emr-6.14.0-java11-20231005
-
notebook-python/emr-6.14.0-java17-latest
-
notebook-python/emr-6.14.0-java17-20231005
-
notebook-python/emr-6.14.0-java17-al2023-latest
-
notebook-python/emr-6.14.0-java17-al2023-20231005
发布说明
Amazon EMR on EKS 6.14.0 发布说明
-
支持的应用程序- Amazon SDK for Java 1.12.543、Apache Spark 3.4.1-amzn-1、Apache Hudi 0.13.1-amzn-2、Apache Iceberg 1.3.0-amzn-0、Delta 2.4.0、Apache Spark RAPIDS 23.06.0-amzn-2、Jupyter Enterprise Gateway 2.7.0
-
支持的组件 –
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支持的配置分类
要与StartJobRun和 CreateManagedEndpointAPI 一起使用:
分类 描述 core-site
更改
core-site.xml
Hadoop 文件中的值。emrfs-site
更改 EMRFS 设置。
spark-metrics
更改
metrics.properties
Spark 文件中的值。spark-defaults
更改
spark-defaults.conf
Spark 文件中的值。spark-env
更改 Spark 环境中的值。
spark-hive-site
更改
hive-site.xml
Spark 文件中的值。spark-log4j
更改
log4j2.properties
Spark 文件中的值。emr-job-submitter
任务提交者 Pod 的配置。
专门用于 CreateManagedEndpointAPI:
分类 描述 jeg-config
更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
文件中的值。jupyter-kernel-overrides
更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如
spark-hive-site.xml
)相对应。有关更多信息,请参阅配置应用程序。
显著功能
Amazon EMR on EKS 发行版 6.14 中包含以下功能。
-
Apache Livy
支持 – Amazon EMR on EKS 现在支持将 Apache Livy 与 spark-submit
结合使用。