本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
JupyterHub
Jupyter notebook
Sparkmagic 是一个内核库,允许 Jupyter 笔记本电脑EMR通过它与在亚马逊上运行的 Apache Spark 进行交互Apache Livy,Ap
下图描述了 on Amaz JupyterHub EMR on 的组件以及适用于笔记本用户和管理员的相应身份验证方法。有关更多信息,请参阅 添加 Jupyter notebook 用户和管理员。
下表列出了最新版本的 Amazon EMR 7.x 系列中 JupyterHub 包含的版本以及亚马逊随之EMR安装的组件。 JupyterHub
有关此版本 JupyterHub 中安装的组件的版本,请参阅 7.3.0 版组件版本。
JupyterHub emr-7.3.0 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
亚马逊EMR发行标签 | JupyterHub 版本 | 安装的组件 JupyterHub | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-7.3.0 |
JupyterHub 1.5.0 |
emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
下表列出了最新版本的 Amazon EMR 6.x 系列中 JupyterHub 包含的版本以及亚马逊随之EMR安装的组件。 JupyterHub
有关此版本 JupyterHub 中安装的组件的版本,请参阅 6.15.0 版组件版本。
JupyterHub emr-6.15.0 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
亚马逊EMR发行标签 | JupyterHub 版本 | 安装的组件 JupyterHub | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.15.0 |
JupyterHub 1.5.0 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
下表列出了最新版本的 Amazon EMR 5.x 系列中 JupyterHub 包含的版本以及亚马逊随之EMR安装的组件。 JupyterHub
有关此版本 JupyterHub 中安装的组件的版本,请参阅 5.36.2 版组件版本。
JupyterHub emr-5.36.2 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
亚马逊EMR发行标签 | JupyterHub 版本 | 安装的组件 JupyterHub | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.2 |
JupyterHub 1.4.1 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
亚马逊 JupyterHub 上包含的 Python 3 内核EMR是 3.6.4。
jupyterhub
容器中安装的库可能因亚马逊EMR发行版本和亚马逊EC2AMI版本而异。
使用 conda
列出已安装的库
在主节点命令行上运行以下命令:
sudo docker exec jupyterhub bash -c "conda list"
使用 pip
列出已安装的库
在主节点命令行上运行以下命令:
sudo docker exec jupyterhub bash -c "pip freeze"