使用自托管式 Jupyter notebook

创建命名空间来运行 Notebook 服务器。

在本地创建文件 notebook.yaml，包含以下内容。文件内容说明如下。

apiVersion: v1
kind: Pod
metadata:
  name: jupyter-notebook
  namespace: namespace
spec:
  containers:
  - name: minimal-notebook
    image: jupyter/all-spark-notebook:lab-3.1.4 # open source image 
    ports:
    - containerPort: 8888
    command: ["start-notebook.sh"]
    args: ["--LabApp.token=''"]
    env:
    - name: JUPYTER_ENABLE_LAB
      value: "yes"
    - name: KERNEL_LAUNCH_TIMEOUT
      value: "400"
    - name: JUPYTER_GATEWAY_URL
      value: "serverUrl"
    - name: JUPYTER_GATEWAY_VALIDATE_CERT
      value: "false"
    - name: JUPYTER_GATEWAY_AUTH_TOKEN
      value: "session-token"

如果您要将 Jupyter notebook 部署到仅限 Fargate 的集群，请使用 role 标签标记 Jupyter Pod，如以下示例所示：

...
metadata:
  name: jupyter-notebook
  namespace: default
  labels:
    role: example-role-name-label
spec:
            ...

将 Pod 规范部署到 Amazon EKS 集群：

kubectl apply -f notebook.yaml -n namespace

这将启动一台在 EKS 交互式终端节点上连接到你的 Amazon EMR 的最小 JupyterLab 笔记本电脑。等到 pod 变成 RUNNING。 您可以使用以下命令检查其状态：

kubectl get pod jupyter-notebook -n namespace

Pod 准备就绪时，get pod 命令会返回类似于以下内容的输出：

NAME              READY  STATUS   RESTARTS  AGE
jupyter-notebook  1/1    Running  0         46s

将 Notebook 安全组附加到调度 Notebook 的节点。

1. 首先，使用 describe pod 命令确定调度 jupyter-notebook Pod 的节点。

   kubectl describe pod jupyter-notebook -n namespace

2. 在 https://console.aws.amazon.com/eks/home#/ 集群中打开 Amazon EKS 控制台。

3. 导航到 Amazon EKS 集群的计算选项卡，然后选择 describe pod 命令标识的节点。选择节点的实例 ID。

4. 在操作菜单中，选择安全 > 更改安全组，附加您在 创建安全组 中创建的安全组。

5. 如果您要在上部署 Jupyter 笔记本窗格 Amazon Fargate，请使用角色SecurityGroupPolicy标签创建一个应用于 Jupyter 笔记本窗格：

   cat >my-security-group-policy.yaml <<EOF
   apiVersion: vpcresources.k8s.aws/v1beta1
   kind: SecurityGroupPolicy
   metadata:
     name: example-security-group-policy-name
     namespace: default
   spec:
     podSelector:
       matchLabels:
         role: example-role-name-label
     securityGroups:
       groupIds:
         - your-notebook-security-group-id
   EOF

现在，进行端口转发，这样你就可以在本地访问 JupyterLab 接口：

kubectl port-forward jupyter-notebook 8888:8888 -n namespace

运行后，导航到您的本地浏览器并访问localhost:8888以查看 JupyterLab 界面：

从 JupyterLab，创建一个新的 Scala 笔记本。下面是一个示例代码片段，您可以运行它来近似计算 Pi 的值：

import scala.math.random
import org.apache.spark.sql.SparkSession

/** Computes an approximation to pi */
val session = SparkSession
  .builder
  .appName("Spark Pi")
  .getOrCreate()

val slices = 2
// avoid overflow
val n = math.min(100000L * slices, Int.MaxValue).toInt 
 
val count = session.sparkContext
.parallelize(1 until n, slices)
.map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)

println(s"Pi is roughly ${4.0 * count / (n - 1)}")
session.stop()

使用以下命令删除 jupyter-notebook Pod：

kubectl delete pod jupyter-notebook -n namespace

然后，使用 delete-managed-endpoint 命令删除交互式端点。有关删除交互式端点的步骤，请参阅 删除交互式端点。最初，您的终端节点将位于 TERMINATING州。清理完所有资源后，它将过渡到 TERMINATED州。

如果您不打算将在 创建安全组 中创建的 Notebook 安全组用于其他 Jupyter notebook 部署，则可以将其删除。有关更多信息，请参阅 Amazon EC2 用户指南中的删除安全组。