从开发端点迁移到交互式会话 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

从开发端点迁移到交互式会话

使用以下清单确定从开发端点迁移到交互式会话的适当方法。

您的脚本是否依赖于 Amazon Glue 0.9 或 1.0 的特定功能(例如,HDFS、YARN 等)?

如果答案是肯定的,请参阅将 Amazon Glue 作业迁移到 Amazon Glue 版本 3.0,以了解如何从 Glue 0.9 或 1.0 迁移到 Glue 3.0 及更高版本。

使用哪种方法访问开发端点?

如果您使用此方法 然后执行此操作
SageMaker notebook、Jupyter notebook 或 JupyterLab 通过在 Jupyter 上下载 .ipynb 文件迁移到 Amazon Glue Studio notebook,并通过上传 .ipynb 文件创建新的 Amazon Glue Studio notebook 作业。或者,您也可以使用 SageMaker Studio 并选择 Amazon Glue 内核
Zeppelin notebook 通过复制和粘贴代码或自动使用第三方转换器(如,ze2nb)将 notebook 手动转换为 Jupyter notebook。然后,在 Amazon Glue Studio 笔记本或 SageMaker Studio 中使用笔记本。
IDE 请参阅使用 PyCharm 并使用 Amazon Glue 交互式会话编辑 Amazon Glue 作业,或 Microsoft Visual Studio Code 与交互式会话配合使用
REPL

在本地安装 aws-glue-session package,然后运行以下命令:

  • 对于 Python:jupyter console --kernal glue_pyspark

  • 对于 Scala:jupyter console --kernal glue_spark

SSH 交互式会话中没有相应的选项。或者,您可以使用 Docker 映像。要了解更多信息,请参阅使用 Docker 映像进行开发