本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon EMR on EKS 6.11.0 版本
本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊上运行的亚马逊 EMR EC2 以及亚马逊 EMR 6.11.0 版本的总体详情，请参阅《亚马逊 EMR 发布指南》中的亚马逊 EM R 6.11. 0。
Amazon EMR on EKS 6.11 版本
以下 Amazon EMR 6.11.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.11.0-XXXX 版本以查看更多详细信息，例如相关的容器映像标签。
-
emr-6.11.0-spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
发行说明
Amazon EMR on EKS 6.11.0 的发布说明
-
支持的应用程序- 适用于 Java 的 Amazon SDK 1.12.446、Apache Spark 3.3.2-amzn-0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Delta 2.0、Apache Spark RAPIDS 23.02.0-amzn-0、Jupyter Enterprise Gateway 2.6.0
-
支持的组件 -
aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
支持的配置分类
与StartJobRun和一起使用 CreateManagedEndpoint APIs：
分类 描述 core-site更改
core-site.xmlHadoop 文件中的值。emrfs-site更改 EMRFS 设置。
spark-metrics更改
metrics.propertiesSpark 文件中的值。spark-defaults更改
spark-defaults.confSpark 文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改
hive-site.xmlSpark 文件中的值。spark-log4j更改
log4j.propertiesSpark 文件中的值。专门用于以下用途 CreateManagedEndpoint APIs：
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如
spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。
显著功能
Amazon EMR on EKS 的 6.11 版中包含以下功能。
-
Amazon ECR Public Gallery 中的 Amazon EMR on EKS 基础映像 – 如果您使用自定义映像功能，我们的基础映像将提供与 Amazon EMR on EKS 交互所需的必要 jar、配置和库。现在，您可以在 Amazon ECR Public Gallery
中找到基础映像。 -
Spark 容器日志轮换 – Amazon EMR on EKS 6.11 支持 Spark 容器日志轮换。您可以在
StartJobRunAPI 的MonitoringConfiguration操作中使用containerLogRotationConfiguration启用该功能。您可以配置rotationSize和maxFilestoKeep来指定您希望 Amazon EMR on EKS 在 Spark 驱动程序和执行器 Pod 中保留的日志文件的数量和大小。有关更多信息，请参阅 使用 Spark 容器日志轮换。 -
Spark 运算符和 Spark-submit 中的 Volcano 支持 – Amazon EMR on EKS 6.11 支持使用 Volcano 作为 Spark 运算符和 spark-submit 中的 Kubernetes 自定义调度程序来运行 Spark 任务。您可以使用分组调度、队列管理、抢占和公平分享调度等功能来实现高调度吞吐量和优化容量。有关更多信息，请参阅 在 Amazon EMR on EKS 上将 Volcano 用作 Apache Spark 自定义调度器。