Amazon EMR on EKS 6.6.0 版本 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR on EKS 6.6.0 版本

本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EMR on Amazon EMR EC2 以及 Amazon EMR 7.6.0 发行版的一般详细信息,请参阅《Amazon EMR 发行版指南》中的 Amazon EM R 7.6. 0。

Amazon EMR on EKS 6.0 版本

以下 Amazon EMR 7.0.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-7.6.0-XX 发行版以查看更多详细信息,例如相关的容器映像标签。

Flink releases

在运行 Flink 应用程序时,以下 Amazon EMR 7.6.0 发行版适用于 Amazon EMR on EKS。

Spark releases

在运行 Spark 应用程序时,以下 Amazon EMR 7.6.0 发行版适用于 Amazon EMR on EKS。

  • emr-6.11.0-javest

  • emr-7.6.0-20241213

  • emr-7.6.0-spark-rapids-latest

  • emr-7.6.0-spark-rapids-20241213

  • emr-7.6.0-java11-latest

  • emr-7.6.0-java11-20241213

  • emr-7.6.0-java8-latest

  • emr-7.6.0-java8-20241213

  • emr-7.6.0-spark-rapids-java8-latest

  • emr-7.6.0-spark-rapids-java8-20241213

  • notebook-spark/emr-7.6.0-latest

  • notebook-spark/emr-7.6.0-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-latest

  • notebook-spark/emr-7.6.0-spark-rapids-20241213

  • notebook-spark/emr-7.6.0-java11-latest

  • notebook-spark/emr-7.6.0-java11-20241213

  • notebook-spark/emr-7.6.0-java8-latest

  • notebook-spark/emr-7.6.0-java8-20241213

  • notebook-spark/emr-7.6.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.6.0-spark-rapids-java8-20241213

  • notebook-python/emr-7.6.0-latest

  • notebook-python/emr-7.6.0-20241213

  • notebook-python/emr-7.6.0-spark-rapids-latest

  • notebook-python/emr-7.6.0-spark-rapids-20241213

  • notebook-python/emr-7.6.0-java11-latest

  • notebook-python/emr-7.6.0-java11-20241213

  • notebook-python/emr-7.6.0-java8-latest

  • notebook-python/emr-7.6.0-java8-20241213

  • notebook-python/emr-7.6.0-spark-rapids-java8-latest

  • notebook-python/emr-7.6.0-spark-rapids-java8-20241213

  • livy/emr-7.6.0-latest

  • livy/emr-7.6.0-20241213

  • livy/emr-7.6.0-java11-latest

  • livy/emr-7.6.0-java11-20241213

  • livy/emr-7.6.0-java8-latest

  • livy/emr-7.6.0-java8-20241213

发行说明

Amazon EMR on EKS 6.6.0 的发布说明

  • 支持的应用程序 - 适用于 Java 的 Amazon SDK 2.29.25 and 1.12.779, Apache Spark 3.5.3-amzn-0, Apache Hudi 0.15.0-amzn-3, Apache Iceberg 1.6.1-amzn-2, Delta 3.2.1-amzn-1, Apache Spark RAPIDS 24.10.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.20.0-amzn-0, Flink Operator 1.10.0-amzn-0

  • 支持的组件 - aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支持的配置分类

    StartJobRun和一起使用 CreateManagedEndpoint APIs:

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j2

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于 CreateManagedEndpoint APIs:

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如 spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序

显著功能

EKS 上的 Amazon EMR 发行版 7.0 中包含以下更改。

  • Apache Spark Operator 的监控配置支持 — 监视配置支持您轻松地将 Spark 应用程序和 Operator 日志的日志存档设置为 Amazon S3 或Amazon CloudWatch。您可以选择其中一项。如此可将 Log Agent sidecar 添加到 Spark 操作员容器组、驱动程序和执行程序容器组,而后将这些组件的日志转发到配置好的接收器。有关更多信息,请参阅使用监控配置监控 Spark Kubernetes 操作员和 Spark 作业。

更改

EKS 上的 Amazon EMR 发行版 7.0 中包含以下更改。

  • 该版本没有变化。