Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

教程：在 JupyterLab 中设置 Jupyter notebook 以测试和调试 ETL 脚本

在本教程中，您要将 JupyterLab 中运行在本地计算机上的 Jupyter notebook 连接到开发终端节点。执行此操作是为了在部署脚本之前，以交互方式运行、调试和测试 Amazon Glue 提取、转换和加载（ETL）脚本。本教程使用 Secure Shell（SSH）端口转发将本地计算机连接到 Amazon Glue 开发终端节点。有关更多信息，请参阅 Wikipedia 上的端口转发。

步骤 1：安装 JupyterLab 和 Sparkmagic

您可以使用 conda 或者 pip 安装 JupyterLab。conda 是一个开源程序包管理系统和环境管理系统，在 Windows、macOS 和 Linux 上运行。pip 是 Python 的软件包安装程序。

如果您在 macOS 上安装，则必须先安装 Xcode，然后才能安装 Sparkmagic。

步骤 2：启动 JupyterLab

启动 JupyterLab 时，默认的 Web 浏览器会自动打开，显示 URL http://localhost:8888/lab/workspaces/{workspace_name}。

$ jupyter lab

步骤 3：启动 SSH 端口转发以连接您的开发终端节点

接下来，使用 SSH 本地端口转发将本地端口（此处为 8998）转发到由 Amazon Glue（169.254.76.1:8998）定义的远程目标。

步骤 4：在笔记本段落中运行简单脚本片段

现在，您在 JupyterLab 中的笔记本应该与您的开发终端节点配合使用。在笔记本中输入以下脚本片段并运行它。

import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext
 
# Create a Glue context
glueContext = GlueContext(SparkContext.getOrCreate())
 
# Create a DynamicFrame using the 'persons_json' table
persons_DyF = glueContext.create_dynamic_frame.from_catalog(database="legislators", table_name="persons_json")
 
# Print out information about *this* data
print("Count:  ", persons_DyF.count())
persons_DyF.printSchema()

脚本的输出如下所示。

 Count:  1961
 root
 |-- family_name: string
 |-- name: string
 |-- links: array
 |    |-- element: struct
 |    |    |-- note: string
 |    |    |-- url: string
 |-- gender: string
 |-- image: string
 |-- identifiers: array
 |    |-- element: struct
 |    |    |-- scheme: string
 |    |    |-- identifier: string
 |-- other_names: array
 |    |-- element: struct
 |    |    |-- note: string
 |    |    |-- name: string
 |    |    |-- lang: string
 |-- sort_name: string
 |-- images: array
 |    |-- element: struct
 |    |    |-- url: string
 |-- given_name: string
 |-- birth_date: string
 |-- id: string
 |-- contact_details: array
 |    |-- element: struct
 |    |    |-- type: string
 |    |    |-- value: string
 |-- death_date: string

故障排除