Apache Livy - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Livy

Livy 可通过 REST 接口实现与运行 Spark 的 EMR 集群的交互。您可以使用 REST 接口或 RPC 客户端库提交 Spark 任务或 Spark 代码段、同步或异步检索结果并管理 Spark 上下文。有关更多信息,请参阅 。Apache Livy 网站。Livy 包含在亚马逊 EMR 发布版本 5.9.0 及更高版本中。

要访问 Livy Web 界面,请设置连接到主节点的 SSH 隧道和代理连接。有关更多信息,请参阅 。查看 EMR 集群上托管的 Web 界面

下表列出了 Amazon EMR 6.x 系列的最新发布版本附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关随 Livy 一起安装的组件的版本,请参阅发行版 6.2.0 组件版本

emr-6.2.0 的 Livy 版本信息
Amazon EMR 版本标签 Livy 版本。 随安装的组件

emr-6.2.0

Livy 0.7.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx

下表列出了 Amazon EMR 5.x 系列的最新发布版本附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关随 Livy 一起安装的组件的版本,请参阅发行版 5.33.0 组件版本

emr-5.33.0 的版本信息
Amazon EMR 版本标签 Livy 版本。 随安装的组件

emr-5.33.0

Livy 0.7.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx