通过交互式会话构建 Amazon Glue 作业 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

通过交互式会话构建 Amazon Glue 作业

数据工程师可以使用 Amazon Glue 中的交互式会话,从而比以前更快、更轻松地编写 Amazon Glue 任务。

Amazon Glue 交互式会话概览

借助 Amazon Glue 交互式会话,您可以快速构建、测试和运行数据准备和分析应用程序。交互式会话为数据准备提取、转换、加载(ETL)脚本提供了一个编程和可视化界面。交互式会话运行 Apache Spark 分析应用程序,并提供对远程 Spark 运行时环境的按需访问。Amazon Glue 透明地管理这些交互式会话的无服务器 Spark。

由于交互式会话非常灵活,因此您可以在自己选择的环境中构建和测试应用程序。您可以通过 Amazon Command Line Interface 和 API 创建与操作交互式会话。您可以使用 Jupyter 兼容的笔记本直观地编写和测试笔记本脚本。交互式会话提供了一个开源的 Jupyter 内核,几乎可以在 Jupyter 兼容的任何环境中集成,包括与 PyCharm、IntelliJ 和 VS Code 等 IDE 集成。这可让您在本地环境中编写代码并在交互式会话后端无缝运行它。

使用交互式会话 API,客户可以采用编程方式运行使用 Apache Spark 分析的应用程序,而无需管理 Spark 基础设施。您可以在单个交互式会话中运行一条或多条 Spark 语句。

因此,交互式会话提供了一种更快、更便宜、更灵活的方式来构建和运行数据准备与分析应用程序。要了解如何使用交互式会话,请参阅文档中的本节。Amazon Glue 支持的魔术命令

限制

  • 交互式会话中不支持任务书签。

  • 不支持使用 Amazon Command Line Interface 创建笔记本作业。