Amazon EMR on EKS 6.10.0 版本
以下 Amazon EMR 6.10.0 版本适用于 Amazon EMR on EKS。选择特定的 emr-6.10.0-XXXX 版本以查看更多详细信息，例如相关的容器映像标签。
-
emr-6.10.0-spark-rapids-latest
-
emr-6.10.0-spark-rapids-20230624
-
emr-6.10.0-spark-rapids-20230220
-
emr-6.10.0-java11-latest
-
emr-6.10.0-java11-20230624
-
emr-6.10.0-java11-20230220
-
notebook-spark/emr-6.10.0-latest
-
notebook-spark/emr-6.10.0-20230624
-
notebook-spark/emr-6.10.0-20230220
-
notebook-python/emr-6.10.0-latest
-
notebook-python/emr-6.10.0-20230624
-
notebook-python/emr-6.10.0-20230220
Amazon EMR 6.10.0 的发布说明
-
支持的应用程序 – Amazon SDK for Java 1.12.397、Spark 3.3.1-amzn-0、Hudi 0.12.2-amzn-0、Iceberg 1.1.0-amzn-0、Delta 2.2.0。
-
支持的组件：
aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
受支持的配置分类：
与 StartJobRun 和 CreateManagedEndpoint API 结合使用：
分类 描述 core-site更改 Hadoop
core-site.xml文件中的值。emrfs-site更改 EMRFS 设置。
spark-metrics更改 Spark
metrics.properties文件中的值。spark-defaults更改 Spark
spark-defaults.conf文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改 Spark
hive-site.xml文件中的值。spark-log4j更改 Spark
log4j.properties文件中的值。专门用于 CreateManagedEndpoint API：
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如
spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。
显著功能
-
Spark 运算符 – 借助 Amazon EMR on EKS 6.10.0 及更高版本，您可以使用 Apache Spark 的 Kubernetes 运算符或 Spark 运算符，使用您自己的 Amazon EKS 集群上的 Amazon EMR 发行版运行时系统来部署和管理 Spark 应用程序。有关更多信息，请参阅使用 Spark Operator 运行 Spark 任务。
-
Java 11 – 借助 Amazon EMR on EKS 6.10 及更高版本，您可以使用 Java 11 运行时系统启动 Spark。为此，将
emr-6.10.0-java11-latest作为发行版标签传递。我们建议您在将生产工作负载从 Java 8 映像迁移到 Java 11 映像之前，先验证并运行性能测试。 -
对于 Apache Spark 的 Amazon Redshift 集成，Amazon EMR on EKS 6.10.0 消除了对
minimal-json.jar的依赖关系，并自动将所需的spark-redshift相关 jar 添加到 Spark 的执行器类路径：spark-redshift.jar、spark-avro.jar和RedshiftJDBC.jar。
更改
-
现在默认为 Parquet、ORC 和基于文本的格式（包括 CSV 和 JSON）启用 EMRFS S3 优化的提交程序。