正在配置 JupyterHub - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

正在配置 JupyterHub

您可以通过连接到集群主节点并编辑配置文件来自定义 Amaz JupyterHub on EMR 和个人用户笔记本的配置。在更改值之后,重启 jupyterhub 容器。

修改以下文件中的属性以配置 JupyterHub 和各个 Jupyter 笔记本:

  • jupyterhub_config.py – 默认情况下,此文件保存在主节点上的 /etc/jupyter/conf/ 目录中。有关更多信息,请参阅 JupyterHub 文档中的配置基础知识

  • jupyter_notebook_config.py – 默认情况下,该文件保存在 /etc/jupyter/ 目录中,并作为默认值复制到 jupyterhub 容器中。有关更多信息,请参阅 Jupyter notebook 文档中的配置文件和命令行选项

您也可以使用 jupyter-sparkmagic-conf 配置分类自定义 Sparkmagic,这会更新 Sparkmagic 的 config.json 文件中的值。有关可用设置的更多信息,请参阅上的 e xample_c onfig.json。 GitHub有关在 Amazon EMR 中对应用程序使用配置分类的更多信息,请参阅配置应用程序

以下示例使用启动集群 Amazon CLI,引用了 Sparkmagic 配置分类设置MyJupyterConfig.json的文件。

注意

为了便于读取,包含 Linux 行继续符 (\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号(^)。

aws emr create-cluster --use-default-roles --release-label emr-5.14.0 \ --applications Name=Jupyter --instance-type m4.xlarge --instance-count 3 \ --ec2-attributes KeyName=MyKey,SubnetId=subnet-1234a5b6 --configurations file://MyJupyterConfig.json

MyJupyterConfig.json 的示例内容如下所示:

[ { "Classification":"jupyter-sparkmagic-conf", "Properties": { "kernel_python_credentials" : "{\"username\":\"diego\",\"base64_password\":\"mypass\",\"url\":\"http:\/\/localhost:8998\",\"auth\":\"None\"}" } } ]
注意

对于 Amazon EMR 5.21.0 及更高版本,您可以覆盖集群配置,并为运行的集群中的每个实例组指定额外的配置分类。您可以使用 Amazon EMR 控制台、 Amazon Command Line Interface (Amazon CLI) 或软件开发工具包来执行此操作。 Amazon 有关更多信息,请参阅为运行的集群中的实例组提供配置