本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon EMR on EKS 6.12.0 版本
本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊上运行的亚马逊 EMR EC2 以及亚马逊 EMR 6.12.0 版本的总体详情,请参阅亚马逊 EMR 发布指南中的亚马逊 EM R 6.12. 0。
Amazon EMR on EKS 6.12 版本
以下 Amazon EMR 6.12.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.12.0-XXXX 版本以查看更多详细信息,例如相关的容器映像标签。
-
emr-6.12.0-spark-rapids-latest
-
emr-6.12.0-spark-rapids-20230701
-
emr-6.12.0-java11-latest
-
emr-6.12.0-java11-20230701
-
emr-6.12.0-java17-latest
-
emr-6.12.0-java17-20230701
-
emr-6.12.0-17-lest spark-rapids-java
-
emr-6.12.0-17-20230701 spark-rapids-java
-
notebook-spark/emr-6.12.0-latest
-
notebook-spark/emr-6.12.0-20230701
-
notebook-spark/emr-6.12.0-spark-rapids-latest
-
notebook-spark/emr-6.12.0-spark-rapids-20230701
-
notebook-python/emr-6.12.0-latest
-
notebook-python/emr-6.12.0-20230701
-
notebook-python/emr-6.12.0-spark-rapids-latest
-
notebook-python/emr-6.12.0-spark-rapids-20230701
发行说明
Amazon EMR on EKS 6.12.0 的发布说明
-
支持的应用程序- Amazon SDK for Java 1.12.490、Apache Spark 3.4.0-amzn-0、Apache Hudi 0.13.1-amzn-0、Apache Iceberg 1.3.0-amzn-0、Delta 2.4.0、Apache Spark RAPIDS 23.06.0-amzn-0、Jupyter 企业网关 2.6.0
-
支持的组件 -
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支持的配置分类
与StartJobRun和一起使用 CreateManagedEndpoint APIs:
分类 描述 core-site
更改
core-site.xml
Hadoop 文件中的值。emrfs-site
更改 EMRFS 设置。
spark-metrics
更改
metrics.properties
Spark 文件中的值。spark-defaults
更改
spark-defaults.conf
Spark 文件中的值。spark-env
更改 Spark 环境中的值。
spark-hive-site
更改
hive-site.xml
Spark 文件中的值。spark-log4j
更改
log4j2.properties
Spark 文件中的值。emr-job-submitter
任务提交者 Pod 的配置。
专门用于以下用途 CreateManagedEndpoint APIs:
分类 描述 jeg-config
更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
文件中的值。jupyter-kernel-overrides
更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如
spark-hive-site.xml
)相对应。有关更多信息,请参阅配置应用程序。
显著功能
Amazon EMR on EKS 的 6.12 版中包含以下功能。
-
Java 17 – 借助 Amazon EMR on EKS 6.12 及更高版本,您可以使用 Java 17 运行时系统启动 Spark。为此,将
emr-6.12.0-java17-latest
作为发行版标签传递。我们建议您在将生产工作负载从更早版本的 Java 映像迁移到 Java 17 映像之前,先验证并运行性能测试。