Apache Livy - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Apache Livy

Livy 可通过 REST 接口实现与运行 Spark 的 EMR 集群的交互。您可以使用 REST 接口或 RPC 客户端库提交 Spark 任务或 Spark 代码段、同步或异步检索结果并管理 Spark 上下文。有关更多信息,请参阅 Apache Livy 网站。Livy 包含在 Amazon EMR 发行版本 5.9.0 及更高版本中。

要访问 Livy Web 界面,请设置连接到主节点 的 SSH 隧道和代理连接。有关更多信息,请参阅查看 EMR 集群上托管的 Web 界面

下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关此发行版中随 Livy 安装的组件版本,请参阅 Release 6.14.0 Component Versions

emr-6.14.0 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-6.14.0

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关此发行版中随 Livy 安装的组件版本,请参阅 Release 6.14.0 Component Versions

emr-5.36.1 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-5.36.1

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx