亚马逊EMR在 EKS 6.15.0 版本上 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊EMR在 EKS 6.15.0 版本上

本页介绍亚马逊在EKS部署时专为亚马逊EMR提供的新功能和更新功能。EMR有关亚马逊在亚马逊上EMR运行EC2以及亚马逊 EMR 6.15.0 版本的总体详情,请参阅《亚马逊发行指南》中的 A mazon EMR 6.15. 0。EMR

亚马逊即将EMR发布 EKS 6.15 版本

以下亚马逊 EMR 6.15.0 版本可在亚马逊EMR上使用。EKS选择特定的 emr-6.15.0 XXXX 版本以查看更多详细信息,例如相关的容器映像标签。

Flink releases

当您运行 Flink 应用程序EKS时,以下亚马EMR逊 EMR 6.15.0 版本可供亚马逊使用。

Spark releases

当您运行 Spark 应用程序EKS时,以下亚马EMR逊 EMR 6.15.0 版本可供亚马逊使用。

  • emr-6.15.0-latest

  • emr-6.15.0-20231109

  • emr-6.15.0-spark-rapids-latest

  • emr-6.15.0-spark-rapids-20231109

  • emr-6.15.0-java11-latest

  • emr-6.15.0-java11-20231109

  • emr-6.15.0-java17-latest

  • emr-6.15.0-java17-20231109

  • emr-6.15.0-java17-al2023-latest

  • emr-6.15.0-java17-al2023-20231109

  • emr-6.15.0-spark-rapids-java17-latest

  • emr-6.15.0-spark-rapids-java17-20231109

  • emr-6.15.0-spark-rapids-java17-al2023-latest

  • emr-6.15.0-spark-rapids-java17-al2023-20231109

  • notebook-spark/emr-6.15.0-latest

  • notebook-spark/emr-6.15.0-20231109

  • notebook-spark/emr-6.15.0-spark-rapids-latest

  • notebook-spark/emr-6.15.0-spark-rapids-20231109

  • notebook-spark/emr-6.15.0-java11-latest

  • notebook-spark/emr-6.15.0-java11-20231109

  • notebook-spark/emr-6.15.0-java17-latest

  • notebook-spark/emr-6.15.0-java17-20231109

  • notebook-spark/emr-6.15.0-java17-al2023-latest

  • notebook-spark/emr-6.15.0-java17-al2023-20231109

  • notebook-python/emr-6.15.0-latest

  • notebook-python/emr-6.15.0-20231109

  • notebook-python/emr-6.15.0-spark-rapids-latest

  • notebook-python/emr-6.15.0-spark-rapids-20231109

  • notebook-python/emr-6.15.0-java11-latest

  • notebook-python/emr-6.15.0-java11-20231109

  • notebook-python/emr-6.15.0-java17-latest

  • notebook-python/emr-6.15.0-java17-20231109

  • notebook-python/emr-6.15.0-java17-al2023-latest

  • notebook-python/emr-6.15.0-java17-al2023-20231109

发行说明

亚马逊 EMR EKS 6.15.0 版本发布说明

  • 支持的应用程序 Amazon SDK for Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • 支持的组件 - aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支持的配置分类

    StartJobRun和一起使用 CreateManagedEndpointAPIs:

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于以下用途 CreateManagedEndpointAPIs:

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如spark-hive-site.xml。有关更多信息,请参阅配置应用程序

显著功能

在 Amazon EMR 上EKS发布的 6.15 版本中包含以下功能。

  • 亚马逊EMR开启 EKS Apache Flink ——亚马逊EMR在 EKS 6.15.0 上线后,你可以在同一个亚马逊集群上运行基于 Apache Flink 的应用程序以及其他类型的应用程序。EKS这有助于提高资源利用率并简化基础架构管理。您可以在 Flink 应用程序中使用竞价型实例,并可以正常停用,并通过 Amazon 的精细恢复和任务本地恢复来缩短重启时间。EBS可访问性和监控功能包括能够使用存储在 Amazon S3 中的 jar 启动 Flink 应用程序、访问 G Amazon lue 数据目录、监控与 Amazon S3 和亚马逊的集成以及容器日志轮换。 CloudWatch