亚马逊EMR在 EKS 6.10.0 版本上 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊EMR在 EKS 6.10.0 版本上

以下亚马逊 EMR 6.10.0 版本可在亚马逊EMR上使用。EKS选择特定的 emr-6.10.0 XXXX 版本以查看更多详细信息，例如相关的容器映像标签。

亚马逊 EMR 6.10.0 的发行说明

  • 支持的应用程序- Amazon SDK for Java 1.12.397、Spark 3.3.1-amzn-0、Hudi 0.12.2-amzn-0、Iceberg 1.1.0-amzn-0、Delta 2.0。

  • 支持的组件：aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 受支持的配置分类：

    与StartJobRun和一起使用 CreateManagedEndpointAPIs：

    分类 描述

    core-site

    更改 Hadoop core-site.xml 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 Spark metrics.properties 文件中的值。

    spark-defaults

    更改 Spark spark-defaults.conf 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 Spark hive-site.xml 文件中的值。

    spark-log4j

    更改 Spark log4j.properties 文件中的值。

    专门用于以下用途 CreateManagedEndpointAPIs：

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件，例如spark-hive-site.xml。有关更多信息，请参阅配置应用程序。

显著功能

  • Spark 操作员 —— EMR 在亚马逊 EKS 6.10.0 及更高版本中，你可以使用 Apache Spark 的 Kubernetes 运算符或 Sp ark 操作员，在自己的亚马逊集群上使用亚马逊发布EMR运行时部署和管理 Spark 应用程序。EKS有关更多信息，请参阅 使用 Spark Operator 运行 Spark 任务。

  • Java 11-EMR 在亚马逊EKS版本为 6.10 及更高版本的情况下，你可以使用 Java 11 运行时启动 Spark。为此，将 emr-6.10.0-java11-latest 作为发行版标签传递。我们建议您在将生产工作负载从 Java 8 映像迁移到 Java 11 映像之前，先验证并运行性能测试。

  • 对于适用于 Apache Spark 的 Amaz EMR on Redshift 集成，EKS6.10.0 版本的亚马逊删除了对的依赖minimal-json.jar，并自动将所需的spark-redshift相关 jar 添加到 Spark:、和的执行程序类路径中。spark-redshift.jar spark-avro.jar RedshiftJDBC.jar

更改

  • EMRFSS3 优化的提交器现在默认启用了 parquet、ORC、和基于文本的格式（包括和）。CSV JSON