在本地开发和测试 Amazon Glue 作业脚本
当您开发和测试 Amazon Glue for Spark 作业脚本时,有多种可用选项:
Amazon Glue Studio 控制台
可视化编辑器
脚本编辑器
Amazon Glue Studio 笔记本
交互式会话
Jupyter notebook
Docker 映像
本地开发
远程开发
您可以根据您的要求选择以上任何选项。
如果您喜欢无代码或低代码体验,则 Amazon Glue Studio 可视化编辑器是不错的选择。
如果您更喜欢交互式笔记本体验,则 Amazon Glue Studio 笔记本是一个不错的选择。有关更多信息,请参阅将笔记本与 Amazon Glue Studio 和 Amazon Glue 结合使用。如果您想使用您自己的本地环境,交互式会话是一个不错的选择。有关更多信息,请参阅将交互式会话与 Amazon Glue 结合使用。
如果您更喜欢本地/远程开发体验,Docker 镜像是一个不错的选择。这可以帮助您在任何您喜欢的地方开发和测试 Amazon Glue for Spark 作业脚本,而不会产生 Amazon Glue 成本。
如果您更喜欢没有 Docker 的本地开发,则在本地安装 Amazon Glue ETL 库目录是一个不错的选择。
使用 Amazon Glue Studio 进行开发
Amazon Glue Studio 可视化编辑器是一个图形界面,可以方便地在 Amazon Glue 中创建、运行和监控提取、转换和加载 (ETL) 任务。您可以直观地编写数据转换工作流,并在 Amazon Glue 的基于 Apache Spark 的无服务器 ETL 引擎上无缝运行它们。您可以在任务的每个步骤中检查架构和数据结果。有关更多信息,请参阅《Amazon Glue Studio 用户指南》。
使用交互式会话进行开发
交互式会话使您可以在自己选择的环境中构建和测试应用程序。有关更多信息,请参阅将交互式会话与 Amazon Glue 结合使用。