本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.1.0)
下表列出了 AWS runtime for Apache Spark (emr-spark-8.1.0) 中可用的应用程序版本。
| 应用程序 | 版本 |
|---|---|
| Spark | 4.1.1-amzn-0 |
| Iceberg | 1.11.0-amzn-0 |
| Delta | 4.2.0-amzn-0 |
| Hudi | 1.1.1-amzn-0 |
适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.1.0) 版本说明
-
更改和增强
-
Python 3.12 支持 — 亚马逊 EMR 无服务器支持 Apache Spark
emr-spark-8.1.0应用程序的 Python 3.12。 -
自定义映像版本版本验证 — 当您在此版本中使用自定义映像时，EMR Serverless 会验证它是根据匹配版本的基础映像构建的。如果图像的发布版本与应用程序的发布版本不匹配，或者图像没有发布版本，则该请求将被拒绝。该消息标识了要使用的基础映像版本。使用匹配的 EMR 无服务器基础映像重建您的自定义映像。
-
提高了 Spark 作业的无服务器存储数据限制 — 此版本将 Spark 任务的无服务器存储数据限制从 200 GiB 提高到 1 TiB。
-
合并的 Spark 配置 — 首先
emr-spark-8.1.0，EMR Serverless 会合并 Spark 配置，而不是替换它。它将应用程序级别的配置集与单个作业或会话的配置集合在一起。当在两个级别上设置相同的配置时，作业或会话值优先。在中emr-spark-8.0.0，作业或会话配置完全取代了应用程序级配置。
-
开始使用
要开始使用 Apache Spark 4.1.1，请使用 CLI 创建 EMR 无服务器应用程序： Amazon
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.1.0 \ --name spark4-serverless \ --region us-east-1
注意
create-application用途--type参数SPARK（大写）。