Apache Livy - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

Apache Livy

Livy 可通过 REST 接口实现与运行 Spark 的 EMR 集群的交互。您可以使用 REST 接口或 RPC 客户端库提交 Spark 任务或 Spark 代码段、同步或异步检索结果并管理 Spark 上下文。有关更多信息,请参阅 Apache Livy 网站。Livy 包含在 Amazon EMR 版本 5.9.0 及更高版本中。

要访问 Livy Web 界面,请设置连接到主节点的 SSH 隧道和代理连接。有关更多信息,请参阅查看 EMR 集群上托管的 Web 界面

下表列出了 Amazon EMR 6.x 系列的最新发布版本附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关随此发布版本中的 Livy 一起安装的组件的版本,请参阅发布版本 6.0.0 组件版本

emr-6.0.0 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-6.0.0

Livy 0.6.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx

下表列出了 Amazon EMR 5.x 系列的最新发布版本附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关随此发布版本中的 Livy 一起安装的组件的版本,请参阅发布版本 5.29.0 组件版本

emr-5.29.0 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-5.29.0

Livy 0.6.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx