Apache Livy - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Livy

Livy 支持通过REST接口与运行 Spark 的EMR集群进行交互。您可以使用REST界面或RPC客户端库提交 Spark 作业或 Spark 代码片段、同步或异步检索结果以及管理 Spark Context。有关更多信息,请参阅 Apache Livy 网站。Livy 包含在亚马逊EMR发行版 5.9.0 及更高版本中。

要访问 Livy Web 界面,请设置SSH通往主节点的隧道和代理连接。有关更多信息,请参阅查看EMR集群上托管的 Web 界面

下表列出了最新版本的亚马逊 EMR 7.x 系列中包含的 Livy 版本,以及亚马逊与 Livy 一起EMR安装的组件。

有关此版本中与 Livy 一起安装的组件版本,请参阅 7.2.0 版本组件版本。

emr-7.2.0 的 Livy 版本信息
亚马逊EMR发行标签 Livy 版本 随 Livy 安装的组件

emr-7.2.0

Livy 0.8.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

下表列出了最新版本的亚马逊 EMR 6.x 系列中包含的 Livy 版本,以及亚马逊与 Livy 一起EMR安装的组件。

有关此发行版中随 Livy 安装的组件版本,请参阅发行版 6.15.0 组件版本

emr-6.15.0 的 Livy 版本信息
亚马逊EMR发行标签 Livy 版本 随 Livy 安装的组件

emr-6.15.0

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

下表列出了最新版本的亚马逊 EMR 5.x 系列中包含的 Livy 版本,以及亚马逊与 Livy 一起EMR安装的组件。

有关此版本中与 Livy 一起安装的组件的版本,请参阅 5.36.2 版组件版本

emr-5.36.2 的 Livy 版本信息
亚马逊EMR发行标签 Livy 版本 随 Livy 安装的组件

emr-5.36.2

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx