JupyterHub
Jupyter notebook
Sparkmagic 是内核库，内核允许 Jupyter notebook 通过 Apache Livy（适用于 Spark 的 REST 服务器）与在 Amazon EMR 上运行的 Apache Spark
下图描述了 JupyterHub on Amazon EMR 的组件以及笔记本用户和管理员对应的身份验证方法。有关更多信息，请参阅添加 Jupyter notebook 用户和管理员。
下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 JupyterHub 版本，以及 Amazon EMR 随 JupyterHub 一起安装的组件。
有关此发行版中随 JupyterHub 安装的组件版本，请参阅 Release 6.14.0 Component Versions。
emr-6.14.0 的 JupyterHub 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon EMR 发行版标签 | JupyterHub 版本 | 随 JupyterHub 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
JupyterHub 1.5.0 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 JupyterHub 版本，以及 Amazon EMR 随 JupyterHub 一起安装的组件。
有关此发行版中随 JupyterHub 安装的组件版本，请参阅 Release 6.14.0 Component Versions。
emr-5.36.1 的 JupyterHub 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon EMR 发行版标签 | JupyterHub 版本 | 随 JupyterHub 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
JupyterHub 1.4.1 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
JupyterHub on Amazon EMR 附带的 Python 3 内核为 3.6.4。
在 Amazon EMR 版本和 Amazon EC2 AMI 版本之间，jupyterhub 容器内安装的库可能不同。
使用 conda 列出已安装的库
在主节点命令行上运行以下命令：
sudo docker exec jupyterhub bash -c "conda list"
使用 pip 列出已安装的库
在主节点命令行上运行以下命令：
sudo docker exec jupyterhub bash -c "pip freeze"