Apache Livy - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Livy

Livy 可通过 REST 接口实现与运行 Spark 的 EMR 集群的交互。您可以使用 REST 接口或 RPC 客户端库提交 Spark 任务或 Spark 代码段、同步或异步检索结果并管理 Spark 上下文。有关更多信息,请参阅 Apache Livy 网站。Livy 包含在 Amazon EMR 发行版本 5.9.0 及更高版本中。

要访问 Livy Web 界面,请设置连接到主节点 的 SSH 隧道和代理连接。有关更多信息,请参阅查看 EMR 集群上托管的 Web 界面

下表列出了 Amazon EMR 7.x 系列的最新发行版附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关此版本中与 Livy 一起安装的组件的版本,请参阅 7.1.0 版本的组件版本。

emr-7.1.0 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-7.1.0

Livy 0.8.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关此发行版中随 Livy 安装的组件版本,请参阅发行版 6.15.0 组件版本

emr-6.15.0 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-6.15.0

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx

下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 Livy 的版本,以及 Amazon EMR 随 Livy 一起安装的组件。

有关此版本中与 Livy 一起安装的组件的版本,请参阅 5.36.2 版组件版本

emr-5.36.2 的 Livy 版本信息
Amazon EMR 发行版标签 Livy 版本 随 Livy 安装的组件

emr-5.36.2

Livy 0.7.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx