本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.0.0)
下表列出了 AWS runtime for Apache Spark (emr-spark-8.0.0) 中可用的应用程序版本。
| 应用程序 | 版本 |
|---|---|
| Spark | 4.0.2-amzn-0 |
| Iceberg | 1.10.1-amzn-0 |
| Delta | 4.0.0-amzn-1-spark |
| Hudi | 1.1.0-amzn-0 |
适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.0.0) 版本说明
-
GA 版本 — 这是
AWS runtime for Apache Spark以 Apache Spark 4.0.2 为特色的正式发布版本。此版本在 EMR Serverless、EC2 上的 EMR 和 EKS 上的 EMR 上可用。 -
区域可用性 -适用于提供 EMR Serverless 的所有 Amazon 区域,中东(巴林)和中东(阿联酋)地区除外。
-
已知限制 -本版本中不提供支持原生 FGAC 的 Spark Connect 安全端点。
-
其他文档 -有关其他 Apache Spark 文档,请参阅 Apache Spark 4.0.2 发行文档
。
开始使用
要开始使用 Apache Spark 4.0.2,请使用 CLI 创建 EMR 无服务器应用程序: Amazon
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
注意
此版本取代了预览版(emr-spark-8.0-preview)。该预览版仅限于 Spark 4.0.1,缺少 FGAC、Hudi、数据连接器和 Persistent Spark 历史服务器。
create-application用途--type参数SPARK(大写)。