Amazon EMR on EKS 6.13.0 版本 - Amazon EMR
发行版发布说明功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon EMR on EKS 6.13.0 版本

本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在 Amazon EC2 上运行的 Amazon EMR 以及 Amazon EMR 6.13.0 版本的总体详情，请参阅《Amazon EMR Release Guide》中的 Amazon EMR 6.13.0。

Amazon EMR on EKS 6.13 版本

以下 Amazon EMR 6.13.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.13.0-XXXX 版本以查看更多详细信息，例如相关的容器映像标签。

  • emr-6.13.0-latest

  • emr-6.13.0-20230814

  • emr-6.13.0-spark-rapids-latest

  • emr-6.13.0-spark-rapids-20230814

  • emr-6.13.0-java11-latest

  • emr-6.13.0-java11-20230814

  • emr-6.13.0-java17-latest

  • emr-6.13.0-java17-20230814

  • emr-6.13.0-java17-al2023-latest

  • emr-6.13.0-java17-al2023-20230814

  • emr-6.13.0-spark-rapids-java17-latest

  • emr-6.13.0-spark-rapids-java17-20230814

  • emr-6.13.0-spark-rapids-java17-al2023-latest

  • emr-6.13.0-spark-rapids-java17-al2023-20230814

  • notebook-spark/emr-6.13.0-latest

  • notebook-spark/emr-6.13.0-20230814

  • notebook-spark/emr-6.13.0-spark-rapids-latest

  • notebook-spark/emr-6.13.0-spark-rapids-20230814

  • notebook-spark/emr-6.13.0-java11-latest

  • notebook-spark/emr-6.13.0-java11-20230814

  • notebook-spark/emr-6.13.0-java17-latest

  • notebook-spark/emr-6.13.0-java17-20230814

  • notebook-spark/emr-6.13.0-java17-al2023-latest

  • notebook-spark/emr-6.13.0-java17-al2023-20230814

  • notebook-python/emr-6.13.0-latest

  • notebook-python/emr-6.13.0-20230814

  • notebook-python/emr-6.13.0-spark-rapids-latest

  • notebook-python/emr-6.13.0-spark-rapids-20230814

  • notebook-python/emr-6.13.0-java11-latest

  • notebook-python/emr-6.13.0-java11-20230814

  • notebook-python/emr-6.13.0-java17-latest

  • notebook-python/emr-6.13.0-java17-20230814

  • notebook-python/emr-6.13.0-java17-al2023-latest

  • notebook-python/emr-6.13.0-java17-al2023-20230814

发布说明

Amazon EMR on EKS 6.13.0 的发布说明

  • 支持的应用程序 – Amazon SDK for Java 1.12.513、Apache Spark 3.4.1-amzn-0、Apache Hudi 0.13.1-amzn-0、Apache Iceberg 1.3.0-amzn-0、Delta 2.4.0、Apache Spark RAPIDS 23.06.0-amzn-1、Jupyter Enterprise Gateway 2.6.0.amzn

  • 支持的组件 – aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支持的配置分类

    与 StartJobRun 和 CreateManagedEndpoint API 结合使用：

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于 CreateManagedEndpoint API：

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。

显著功能

Amazon EMR on EKS 的 6.13 版中包含以下功能。

  • Amazon Linux 2023 – 借助 Amazon EMR on EKS 6.13 及更高版本，您可以启动使用 AL2023 作为操作系统的 Spark 以及 Java 17 运行时系统。为此，请使用名称中带有 al2023 的发行版标签。例如：emr-6.13.0-java17-al2023-latest。我们建议您在将生产工作负载迁移到 AL2023 和 Java 17 之前，先验证并运行性能测试。

  • 带 Apache Flink 的 Amazon EMR on EKS（公开预览版）– Amazon EMR on EKS 版本 6.13 及更高版本支持 Apache Flink，现已提供公开预览版。发布后，您可以在同一 Amazon EKS 集群上运行基于 Apache Flink 的应用程序以及其他类型的应用程序。这有助于提高资源利用率并简化基础架构管理。如果您已在 Amazon EKS 上运行大数据框架，您现在可以让 Amazon EMR 进行自动预置和管理。