View a markdown version of this page

适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.0.0) - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.0.0)

下表列出了 AWS runtime for Apache Spark (emr-spark-8.0.0) 中可用的应用程序版本。

应用程序版本信息
应用程序 版本
Spark 4.0.2-amzn-0
Iceberg 1.10.1-amzn-0
Delta 4.0.0-amzn-1-spark
Hudi 1.1.0-amzn-0
适用于 Apache Spark 的 AWS 运行时 (emr-spark-8.0.0) 版本说明
  • GA 版本 — 这是AWS runtime for Apache Spark以 Apache Spark 4.0.2 为特色的正式发布版本。此版本在 EMR Serverless、EC2 上的 EMR 和 EKS 上的 EMR 上可用。

  • 区域可用性 -适用于提供 EMR Serverless 的所有 Amazon 区域,中东(巴林)和中东(阿联酋)地区除外。

  • 已知限制 -本版本中不提供支持原生 FGAC 的 Spark Connect 安全端点。

  • 其他文档 -有关其他 Apache Spark 文档,请参阅 Apache Spark 4.0.2 发行文档

开始使用

要开始使用 Apache Spark 4.0.2,请使用 CLI 创建 EMR 无服务器应用程序: Amazon

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
注意
  • 此版本取代了预览版(emr-spark-8.0-preview)。该预览版仅限于 Spark 4.0.1,缺少 FGAC、Hudi、数据连接器和 Persistent Spark 历史服务器。

  • create-application用途--type参数SPARK(大写)。