将交互式会话与 Microsoft Visual Studio Code 配合使用 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

将交互式会话与 Microsoft Visual Studio Code 配合使用

先决条件

  • 安装 Amazon Glue 交互式会话并验证其可与 Jupyter Notebook 搭配使用。

  • 通过 Jupyter 下载和安装 Visual Studio Code。有关详细信息,请参阅采用 VS 代码的 Jupyter Notebook

  1. 在 VSCode 中禁用 Jupyter AutoStart。

    在 Visual Studio Code 中,Jupyter 内核将自动启动,这将防止您的魔术命令因会话已开启而生效。要禁用自动开启,请转到 Code(代码)> Preferences(首选项)> Settings(设置)> Extensions(扩展)> Jupyter > Jupyter: Disable Jupyter Auto Start(Jupyter: 禁用 Jupyter 自动开启)。选中标有“When true, disables Jupyter from being automatically started for you(如果为 true,则禁止为您自动启动 Jupyter)。You must instead run a cell to start Jupyter(您必须运行一个单元格才能开启 Jupyter)。”

    
              屏幕截图显示为 VS 代码中 Jupyter 扩展启用的复选框。
  2. 转到 File(文件)> New File(新建文件)> Save(保存)以使用您选择的名称将此文件保存为 .ipynb 扩展,或者在 select a language(选择语言)下选择 jupyter 并保存文件。

    
              此屏幕截图显示正在使用新名称保存文件。
  3. 双击文件。系统将显示 Jupyter 外壳并打开笔记本。

    
              屏幕截图显示打开的笔记本。
  4. 在您首次创建文件时,默认情况下,其未选择内核。单击 Select Kernel(选择内核),此时将显示可用内核的列表。选择 Glue PySpark

    
              屏幕截图显示突出显示的 Select Kernel(选择内核)按钮。

    选择 Glue PySparkGlue Spark 内核(分别适用于 Python 和 Scala)。

    
              屏幕截图显示 Amazon Glue PySpark 的选项。

    如果您在下拉列表中没有看到 Amazon Glue PySparkAmazon Glue Spark 内核,请确保您已在上述步骤安装 Amazon Glue 内核,或者设置 Visual Studio Code 时的 python.pythonPath 是正确的。要验证 python.pythonPath,请参阅以下步骤。

    1. 在 MS VS 代码中,导航到 Manage(管理)> Settings(设置)。单击打开设置图标。

      
                  屏幕截图显示 settings tab(设置选项卡)和 Text Editor page(文本编辑器页面)。
    2. python.pythonPath 应指向您的 Python 环境 python >位置路径<。如果您使用 code . 从虚拟环境中打开 Visual Studio Code,则其将指向该虚拟环境的 pythonPath。

    3. 如果您没有看到 python.pythonPath,请添加它并重启 Visual Studio Code。请参阅以下示例。

      { "python.pythonPath":"Python path of Python Virual environment" }
      { "python.pythonPath":"/Users/username/Documents/interactive_sessions_demo/lib/python3.8" }
      
                  屏幕截图显示 settings tab(设置选项卡)和 Text Editor page(文本编辑器页面)。
  5. 创建 Amazon Glue 交互式会话。继续操作,以您在 Juptyer 笔记本中相同的方式创建会话。在第一个单元格的顶部指定任意魔术,并运行代码语句。