亚马逊正在EMR发布 EKS 7.3.0 版本 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊正在EMR发布 EKS 7.3.0 版本

本页介绍亚马逊在EKS部署时专为亚马逊EMR提供的新功能和更新功能。EMR有关亚马逊在亚马逊上EMR运行EC2以及亚马逊 EMR 7.3.0 版本的总体详情,请参阅《亚马逊发行指南》中的 A ma EMR zon EMR 7.3.0

亚马逊EMR在 EKS 7.3 版本上

以下亚马逊 EMR 7.3.0 版本可在亚马逊EMR上EKS使用。选择特定的 emr-7.3.0 XXXX 版本以查看更多详细信息,例如相关的容器镜像标签。

Flink releases

当您运行 Flink 应用程序EKS时,以下亚马EMR逊 EMR 7.3.0 版本可供亚马逊使用。

Spark releases

当您运行 Spark 应用程序EKS时,以下亚马EMR逊 EMR 7.3.0 版本可供亚马逊使用。

  • emr-7.3.0-latest

  • emr-7.3.0-29240920

  • emr-7.3.0-spark-rapids-latest

  • emr-7.3.0-spark-rapids-29240920

  • emr-7.3.0-java11-latest

  • emr-7.3.0-java11-29240920

  • emr-7.3.0-java8-latest

  • emr-7.3.0-java8-29240920

  • emr-7.3.0-spark-rapids-java8-latest

  • emr-7.3.0-spark-rapids-java8-29240920

  • notebook-spark/emr-7.3.0-latest

  • notebook-spark/emr-7.3.0-29240920

  • notebook-spark/emr-7.3.0-spark-rapids-latest

  • notebook-spark/emr-7.3.0-spark-rapids-29240920

  • notebook-spark/emr-7.3.0-java11-latest

  • notebook-spark/emr-7.3.0-java11-29240920

  • notebook-spark/emr-7.3.0-java8-latest

  • notebook-spark/emr-7.3.0-java8-29240920

  • notebook-spark/emr-7.3.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.3.0-spark-rapids-java8-29240920

  • notebook-python/emr-7.3.0-latest

  • notebook-python/emr-7.3.0-29240920

  • notebook-python/emr-7.3.0-spark-rapids-latest

  • notebook-python/emr-7.3.0-spark-rapids-29240920

  • notebook-python/emr-7.3.0-java11-latest

  • notebook-python/emr-7.3.0-java11-29240920

  • notebook-python/emr-7.3.0-java8-latest

  • notebook-python/emr-7.3.0-java8-29240920

  • notebook-python/emr-7.3.0-spark-rapids-java8-latest

  • notebook-python/emr-7.3.0-spark-rapids-java8-29240920

  • livy/emr-7.3.0-latest

  • livy/emr-7.3.0-29240920

  • livy/emr-7.3.0-java11-latest

  • livy/emr-7.3.0-java11-29240920

  • livy/emr-7.3.0-java8-latest

  • livy/emr-7.3.0-java8-29240920

发行说明

亚马逊 EMR EKS 7.3.0 版本发布说明

  • 支持的应用程序 Amazon SDK for Java 2.25.70 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0

  • 支持的组件 - aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支持的配置分类

    StartJobRun和一起使用 CreateManagedEndpointAPIs:

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j2

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于以下用途 CreateManagedEndpointAPIs:

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如spark-hive-site.xml。有关更多信息,请参阅配置应用程序

显著功能

Amazon 7.3.0 版本中包含以下功能EMR。EKS

  • 应用程序升级 — 亚马逊EMREKS现已推出 Flink Operator 1.9. 0。除了其他功能外,Flink Kubernetes 现在还允许您为自动扩缩程序设置CPU内存配额。

  • Apache Iceberg 支持 Apache Flink:Apache Iceberg 是一种开源的高性能格式大型分析表。从亚马逊 EMR 7.3.0 开始,当你在亚马逊上运行 Apache Flink 时,你可以使用 Apache Iceberg 表。EMR EKS欲了解更多信息,请参阅亚马逊EMR关于在开启亚马逊的情况下EKS使用 Apache Iceberg。EMR EKS

  • Delta Lake 支持 Apache Flink:Delta Lake 是一种存储层框架,适用于通常基于 Amazon S3 构建的湖屋架构。在亚马逊 EMR 7.3.0 及更高版本中,当你在亚马逊上运行 Apache Flink 时,你可以使用 Delta 表。EMR EKS有关更多信息,请参阅在 Amazon 开启的情况下使用 Delta Lak EMR e EKS

更改

Amazon 7.3.0 版本中包含以下更改EMR。EKS

  • 随着亚马逊EMREKS版本为 7.3.0 及更高版本,Apache Flink 现在默认使用 Java 17 运行时。