亚马逊EMR在 EKS 7.1.0 版本上 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊EMR在 EKS 7.1.0 版本上

本页介绍亚马逊在EKS部署时专为亚马逊EMR提供的新功能和更新功能。EMR有关亚马逊在亚马逊上EMR运行EC2以及亚马逊 EMR 7.1.0 版本的总体详情,请参阅《亚马逊发行指南》中的 A ma EMR zon EMR 7.1.0

亚马逊正在EMR发布 EKS 7.1 版本

以下亚马逊 EMR 7.1.0 版本可在亚马逊EMR上EKS使用。选择特定的 emr-7.1.0 XXXX 版本以查看更多详细信息,例如相关的容器镜像标签。

Flink releases

当您运行 Flink 应用程序EKS时,以下亚马EMR逊 EMR 7.1.0 版本可供亚马逊使用。

Spark releases

当您运行 Spark 应用程序EKS时,以下亚马EMR逊 EMR 7.1.0 版本可供亚马逊使用。

  • emr-7.1.0-latest

  • emr-7.1.0-20240321

  • emr-7.1.0-spark-rapids-latest

  • emr-7.1.0-spark-rapids-20240321

  • emr-7.1.0-java11-latest

  • emr-7.1.0-java11-20240321

  • emr-7.1.0-java8-latest

  • emr-7.1.0-java8-20240321

  • emr-7.1.0-spark-rapids-java8-latest

  • emr-7.1.0-spark-rapids-java8-20240321

  • notebook-spark/emr-7.1.0-latest

  • notebook-spark/emr-7.1.0-20240321

  • notebook-spark/emr-7.1.0-spark-rapids-latest

  • notebook-spark/emr-7.1.0-spark-rapids-20240321

  • notebook-spark/emr-7.1.0-java11-latest

  • notebook-spark/emr-7.1.0-java11-20240321

  • notebook-spark/emr-7.1.0-java8-latest

  • notebook-spark/emr-7.1.0-java8-20240321

  • notebook-spark/emr-7.1.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.1.0-spark-rapids-java8-20240321

  • notebook-python/emr-7.1.0-latest

  • notebook-python/emr-7.1.0-20240321

  • notebook-python/emr-7.1.0-spark-rapids-latest

  • notebook-python/emr-7.1.0-spark-rapids-20240321

  • notebook-python/emr-7.1.0-java11-latest

  • notebook-python/emr-7.1.0-java11-20240321

  • notebook-python/emr-7.1.0-java8-latest

  • notebook-python/emr-7.1.0-java8-20240321

  • notebook-python/emr-7.1.0-spark-rapids-java8-latest

  • notebook-python/emr-7.1.0-spark-rapids-java8-20240321

  • livy/emr-7.1.0-latest

  • livy/emr-7.1.0-20240321

  • livy/emr-7.1.0-java11-latest

  • livy/emr-7.1.0-java11-20240321

  • livy/emr-7.1.0-java8-latest

  • livy/emr-7.1.0-java8-20240321

发行说明

亚马逊 EMR EKS 7.1.0 版本发布说明

  • 支持的应用程序 Amazon SDK for Java 2.23.18 and 1.12.656, Apache Spark 3.5.0-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.4.3-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.6.1-amzn-1

  • 支持的组件 - aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支持的配置分类

    StartJobRun和一起使用 CreateManagedEndpointAPIs:

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j2

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于以下用途 CreateManagedEndpointAPIs:

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如spark-hive-site.xml。有关更多信息,请参阅配置应用程序

显著功能

Amazon 7.1.0 版本中包含以下功能EMR。EKS

  • Apache Livy 支持亚马逊 EKS — 随着亚马逊EMR在 7.1.0 及更高EKS版本EMR上线,你可以在EKS亚马逊集群上使用 Apache Livy 创建 Apache REST Livy 界面来提交 Spark 任务或 Spark 代码片段。这样做可以让你同步和异步地检索结果,同时仍然可以利用亚马逊的EKS优势,例如亚马逊EMREMR优化的 Spark 运行时、SSL支持的 Livy 终端节点和编程设置体验。