在本地开发和测试 Amazon Glue 作业脚本 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

在本地开发和测试 Amazon Glue 作业脚本

当您开发和测试 Amazon Glue for Spark 作业脚本时,有多种可用选项:

  • Amazon Glue Studio 控制台

    • 可视化编辑器

    • 脚本编辑器

    • Amazon Glue Studio 笔记本

  • 交互式会话

    • Jupyter notebook

  • Docker 映像

    • 本地开发

    • 远程开发

您可以根据您的要求选择以上任何选项。

如果您喜欢无代码或低代码体验,则 Amazon Glue Studio 可视化编辑器是不错的选择。

如果您更喜欢交互式笔记本体验,则 Amazon Glue Studio 笔记本是一个不错的选择。有关更多信息,请参阅将笔记本与 Amazon Glue Studio 和 Amazon Glue 结合使用。如果您想使用您自己的本地环境,交互式会话是一个不错的选择。有关更多信息,请参阅将交互式会话与 Amazon Glue 结合使用

如果您更喜欢本地/远程开发体验,Docker 镜像是一个不错的选择。这可以帮助您在任何您喜欢的地方开发和测试 Amazon Glue for Spark 作业脚本,而不会产生 Amazon Glue 成本。

如果您更喜欢没有 Docker 的本地开发,则在本地安装 Amazon Glue ETL 库目录是一个不错的选择。

使用 Amazon Glue Studio 进行开发

Amazon Glue Studio 可视化编辑器是一个图形界面,可以方便地在 Amazon Glue 中创建、运行和监控提取、转换和加载 (ETL) 任务。您可以直观地编写数据转换工作流,并在 Amazon Glue 的基于 Apache Spark 的无服务器 ETL 引擎上无缝运行它们。您可以在任务的每个步骤中检查架构和数据结果。有关更多信息,请参阅《Amazon Glue Studio 用户指南》。

使用交互式会话进行开发

交互式会话使您可以在自己选择的环境中构建和测试应用程序。有关更多信息,请参阅将交互式会话与 Amazon Glue 结合使用