本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon EKS 上的 Apache Spark (emr-spark-8.1.0) 的运行时间
本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊 EC2 上运行的亚马逊 EMR 以及亚马逊 EMR Spark 8.1.0 版本的总体详细信息，请参阅亚马逊 EMR 发行指南中的 Apache Spark Amazon 运行时 (emr-spark-8.1.0)。
Amazon EKS 上的 Apache Spark (emr-spark-8.1.0) 的运行时间
以下 emr-spark-8.1.0 图像标签可用于 EKS 上的 Apache Spark Amazon 运行时。
发行说明
EKS 上的 Apache Spark (emr-spark-8.1.0) Amazon 运行时发布说明：
-
支持的应用程序 - Amazon SDK for Java 2.x 2.44.5, Apache Spark 4.1.1-amzn-0, Apache Hudi 1.1.1-amzn-0, Apache Iceberg 1.11.0-amzn-0, Delta Lake 4.2.0-amzn-0, Apache Spark RAPIDS 26.04.2-amzn-0
-
支持的组件 ‐
emr-ddb、emr-goodies、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
支持的配置分类
与StartJobRun和 CreateManagedEndpoint API 一起使用：
分类 描述 core-site更改
core-site.xmlHadoop 文件中的值。spark-metrics更改
metrics.propertiesSpark 文件中的值。spark-defaults更改
spark-defaults.confSpark 文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改
hive-site.xmlSpark 文件中的值。spark-log4j2更改
log4j2.propertiesSpark 文件中的值。emr-job-submitter任务提交者 Pod 的配置。
专门用于 CreateManagedEndpoint API：
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。有关更多信息，请参阅配置应用程序。
更改和功能
EKS 上的 Apache Spark Amazon 运行时 emr-spark-8.1.0 版本包含以下功能：
-
Spark Connect on Amazon EMR on EKS — 运行 emr-spark-8.1.0 的 EKS 集群上的 Amazon EMR 现在支持使用基于令牌的身份验证的 Spark Connect 终端节点。有关设置和配置，请参阅《亚马逊 EMR on EKS 开发指南》中的通过 Spark Connect 在 EKS 上使用亚马逊 EMR 运行交互式会话。
-
EKS 任务运行器 pod 上的 Amazon EMR 平滑终止 — emr-spark-8.1.0 及后续版本默认启用 EKS 上的 Amazon EMR
jobsubmitter.gracefulTermination配置。有关设置和配置，请参阅《 Amazon EMR on EKS 开发指南》中的使用任务提交者分类。
已解决的问题
-
Kubernetes 代币轮换后的 Livy 终端节点稳定性 — 修复了在 Kubernetes 服务账户代币轮换后，EKS 托管的 Livy 终端节点上的 Amazon EMR 可能无法使用的问题，以前需要重启 pod 才能恢复。现在，当预计的服务账户令牌轮换时，Livy 会自动刷新其证书。
-
修复了 IPv6-only EKS 集群上的 Spark Operator 应用程序 — EK IPv6-only S 集群上的 Spark Operator 应用程序不再因为 emr-spark-8.1.0 及后续版本的 Kubernetes API 服务器 URL 格式错误而无法提交。有关设置和配置，请参阅《 Amazon EMR on EKS 开发指南》中的 “在 IPv6 集群上的 EKS 上运行 EMR”。