本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
A@@ pache Spark 的 AWS 运行时 (emr- spark-8.0.0)
下表列出了可用的应用程序版本 AWS runtime for Apache Spark (emr-spark-8.0.0)。
| 应用程序 | 版本 |
|---|---|
| Spark | 4.0.2-amzn-0 |
| Iceberg | 1.10.1-amzn-0 |
| Delta | 4.0.0-amzn-1-spark |
| Hudi | 1.1.0-amzn-0 |
适用于 A@@ pache Spark 的 AWS 运行时 (emr-spark-8.0.0) 发行说明
-
GA 版本 — 这是以 Apache Spark 4.0.2 为
AWS runtime for Apache Spark特色的正式发布版本。此版本在 EMR Serverless 上可用,EC2 上有 EMR,在 EKS 上有 EMR。 -
区域供货情况-在所有提供 EMR Serverless 的 Amazon 地区均可用,但中东(巴林)和中东(阿联酋)地区除外。
-
已知限制-支持原生 FGAC 的 Spark Connect 安全端点在此版本中不可用。
-
其他文档——有关其他 Apache Spark 文档,请参阅 A pache Spark 4.0.2 版本
文档。
开始使用
要开始使用 Apache Spark 4.0.2,请使用 CLI 创建一个 EMR 无服务器应用程序: Amazon
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
注意
此版本取代了预览版(emr-spark-8.0-preview)。该预览版仅限于 Spark 4.0.1,缺少 FGAC、Hudi、数据连接器和持续 Spark 历史服务器。
create-application使用的--type参数SPARK(大写)。