使用创建集群 JupyterHub - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用创建集群 JupyterHub

您可以 JupyterHub 使用 Amazon Web Services Management Console、 Amazon Command Line Interface或 Amazon EMR API 创建 Amazon EMR 集群。确保不使用在完成步骤后自动终止的选项( Amazon CLI中的 --auto-terminate 选项)创建此集群。此外,确保管理员和笔记本用户可以访问创建集群时使用的密钥对。有关更多信息,请参阅《Amazon EMR 管理指南》中的对 SSH 凭证使用密钥对

JupyterHub 使用控制台创建集群

使用以下步骤在 Amazon EMR 控制台中使用高级选项创建 JupyterHub 已安装的集群。

使用亚马逊 EMR 控制台创建 JupyterHub 已安装的 Amazon EMR 集群
  1. 导航到 Amazon EMR 新控制台,然后从侧面导航栏中选择切换到旧控制台。有关切换到旧控制台后预期情况的更多信息,请参阅 Using the old console

  2. 依次选择 Create cluster (创建集群)Go to advanced options (转到高级选项)

  3. Software Configuration (软件配置) 下:

    • 对于 “版本”,选择 emr-5.36.2,然后选择。 JupyterHub

    • 如果你使用 Spark,要使用 Amazon Glue 数据目录作为 Spark SQL 的元数据库,请选择 “用于 Spark 表元数据”。有关更多信息,请参阅使用 Amazon Glue 数据目录作为 Spark SQL 的元数据库

    • 对于 Edit software settings (编辑软件设置),请选择 Enter configuration (输入配置) 并指定值,或选择 Load JSON from S3 (从 S3 加载 JSON) 并指定 JSON 配置文件。有关更多信息,请参阅正在配置 JupyterHub

  4. Add steps (添加步骤) (可选) 下,配置创建集群后要运行的步骤,确保 Auto-terminate cluster after the last step is completed (完成最后的步骤后,自动终止集群) 未选中,然后选择 Next (下一步)

  5. 选择 Hardware Configuration (硬件配置) 选项、Next (下一步)。有关更多信息,请参阅《Amazon EMR 管理指南》中的配置集群硬件和联网

  6. 选择 General Cluster Settings (常规集群设置)Next (下一步) 选项。

  7. 选择 Security Options (安全选项) 以指定密钥对,然后选择 Create Cluster (创建集群)

JupyterHub 使用创建集群 Amazon CLI

要使用启动集群 JupyterHub,请使用aws emr create-cluster命令,并在--applications选项中指定Name=JupyterHub。以下示例在 Amazon EMR 上启动具有两个 EC2 实例(一个主实例和一个核心实例)的 JupyterHub集群。此外,已启用调试,日志存储在 --log-uri 所指定的 Amazon S3 位置中。指定密钥对提供对集群中 Amazon EC2 实例的访问权限。

注意

为了便于读取,包含 Linux 行继续符(\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号 (^)。

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \ --applications Name=JupyterHub --log-uri s3://MyBucket/MyJupyterClusterLogs \ --use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair