本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊正在EMR发布 EKS 7.3.0 版本
本页介绍亚马逊在EKS部署时专为亚马逊EMR提供的新功能和更新功能。EMR有关亚马逊在亚马逊上EMR运行EC2以及亚马逊 EMR 7.3.0 版本的总体详情,请参阅《亚马逊发行指南》中的 A ma EMR zon EMR 7.3.0。
亚马逊EMR在 EKS 7.3 版本上
以下亚马逊 EMR 7.3.0 版本可在亚马逊EMR上EKS使用。选择特定的 emr-7.3.0 XXXX 版本以查看更多详细信息,例如相关的容器镜像标签。
发行说明
亚马逊 EMR EKS 7.3.0 版本发布说明
-
支持的应用程序 Amazon SDK for Java 2.25.70 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0
-
支持的组件 -
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支持的配置分类
与StartJobRun和一起使用 CreateManagedEndpointAPIs:
分类 描述 core-site
更改
core-site.xml
Hadoop 文件中的值。emrfs-site
更改EMRFS设置。
spark-metrics
更改
metrics.properties
Spark 文件中的值。spark-defaults
更改
spark-defaults.conf
Spark 文件中的值。spark-env
更改 Spark 环境中的值。
spark-hive-site
更改
hive-site.xml
Spark 文件中的值。spark-log4j2
更改
log4j2.properties
Spark 文件中的值。emr-job-submitter
任务提交者 Pod 的配置。
专门用于以下用途 CreateManagedEndpointAPIs:
分类 描述 jeg-config
更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
文件中的值。jupyter-kernel-overrides
更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如
spark-hive-site.xml
。有关更多信息,请参阅配置应用程序。
显著功能
Amazon 7.3.0 版本中包含以下功能EMR。EKS
-
应用程序升级 — 亚马逊EMREKS现已推出 Flink Operator 1.9. 0。除了其他功能外,Flink Kubernetes 现在还允许您为自动扩缩程序设置CPU内存配额。
-
Apache Iceberg 支持 Apache Flink:Apache Iceberg 是一种开源的高性能格式大型分析表。从亚马逊 EMR 7.3.0 开始,当你在亚马逊上运行 Apache Flink 时,你可以使用 Apache Iceberg 表。EMR EKS欲了解更多信息,请参阅亚马逊EMR关于在开启亚马逊的情况下EKS使用 Apache Iceberg。EMR EKS
-
Delta Lake 支持 Apache Flink:Delta Lake 是一种存储层框架,适用于通常基于 Amazon S3 构建的湖屋架构。在亚马逊 EMR 7.3.0 及更高版本中,当你在亚马逊上运行 Apache Flink 时,你可以使用 Delta 表。EMR EKS有关更多信息,请参阅在 Amazon 开启的情况下使用 Delta Lak EMR e EKS。
更改
Amazon 7.3.0 版本中包含以下更改EMR。EKS
-
随着亚马逊EMREKS版本为 7.3.0 及更高版本,Apache Flink 现在默认使用 Java 17 运行时。