使用 Amazon Glue 中的蓝图和工作流执行复杂的 ETL 活动 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用 Amazon Glue 中的蓝图和工作流执行复杂的 ETL 活动

您组织的一些复杂的提取、转换和加载(ETL)流程最好通过使用多个相互依赖的 Amazon Glue 任务和爬网程序来实施。使用 Amazon Glue 工作流,您可以设计一个复杂的多任务、多爬网程序 ETL 流程,Amazon Glue 可以将其作为单个实体运行和跟踪。创建工作流并指定工作流中的任务、爬网程序和触发器后,您可以按需或按计划运行工作流。

您的组织可能有一组类似的 ETL 用例,这些用例可以通过参数化单个工作流以处理所有这些用例而受益。为了满足这一需求,Amazon Glue 使您能够定义蓝图,您可以使用它来生成工作流。蓝图接受参数,因此数据分析人员可以从单个蓝图中创建不同的工作流来处理类似的 ETL 用例。创建蓝图后,您可以将其重复用于不同的部门、团队和项目。