Amazon Glue 蓝图类参考

适用于 Amazon Glue 蓝图的库定义了在工作流布局脚本中使用的三个类：Job、Crawler 和 Workflow。

作业类

Job 类表示一个 Amazon Glue ETL 任务。

以下是适用于 Job 类的强制构造函数参数。

参数名	类型	描述
`Name`	`str`	要分配给任务的名称。Amazon Glue 将随机生成的后缀添加到名称中，以区分其他蓝图运行创建的任务。
`Role`	`str`	任务在执行时应担任角色的 Amazon Resource Name（ARN）。
`Command`	`dict`	任务命令，如指定在 API 文档中的 JobCommand 结构。

以下是适用于 Job 类的可选构造函数参数。

参数名	类型	描述
`DependsOn`	`dict`	任务所依赖的工作流实体的列表。有关更多信息，请参阅使用 DependsOn 参数。
`WaitForDependencies`	`str`	指示任务是应该等待它依赖的全部实体完成，还是等待任意实体完成。有关更多信息，请参阅使用 WaitForDependencies 参数。如果任务仅依赖于一个实体，则省略。
（任务属性）	-	任何任务属性都在 Amazon Glue API 文档中的Job 结构内列出（`CreatedOn` 和 `LastModifiedOn` 除外）。

Crawler 类表示一个 Amazon Glue 爬网程序。

以下是适用于 Crawler 类的强制构造函数参数。

参数名	类型	描述
`Name`	`str`	要分配给爬网程序的名称。Amazon Glue 将随机生成的后缀添加到名称中，以区分其他蓝图运行创建的爬网程序。
`Role`	`str`	运行时爬网程序应担任角色的 ARN。
`Targets`	`dict`	要网络爬取的目标集合。`Targets` 类构造函数在 API 文档中的CrawlerTargets 结构内定义。全部 `Targets` 构造函数参数是可选的，但您必须至少传递一个。

以下是适用于 Crawler 类的可选构造函数参数。

参数名	类型	描述
`DependsOn`	`dict`	爬网程序所依赖的工作流实体列表。有关更多信息，请参阅使用 DependsOn 参数。
`WaitForDependencies`	`str`	指示爬网程序是应该等待它依赖的全部实体完成，还是等待任意实体完成。有关更多信息，请参阅使用 WaitForDependencies 参数。如果爬网程序仅依赖于一个实体，则省略。
（爬网程序属性）	-	所有爬网程序属性都在 Amazon Glue API 文档中的Crawler 结构内列出，以下属性例外： `State` `CrawlElapsedTime` `CreationTime` `LastUpdated` `LastCrawl` `Version`

Workflow 类表示一个 Amazon Glue 工作流。工作流布局脚本返回 Workflow 对象。Amazon Glue 基于此对象创建工作流。

以下是适用于 Workflow 类的强制构造函数参数。

参数名	类型	描述
`Name`	`str`	要向工作流分配的名称。
`Entities`	`Entities`	要包含在工作流中的实体（任务和爬网程序）的集合。`Entities` 类构造函数接受 `Jobs` 参数（`Job` 对象列表）和 `Crawlers` 参数（`Crawler` 对象列表）。

以下是适用于 Workflow 类的可选构造函数参数。

所有三个类都包括以下方法。

validate(): 验证对象的属性，如果发现错误，则输出消息并退出。如果没有错误，则不生成输出。对于 Workflow 类，会在工作流中的每个实体上调用自己。
to_json(): 将对象序列化为 JSON。还调用 validate()。对于 Workflow 类，JSON 对象包括任务和爬网程序列表，以及由任务和爬网程序依赖关系规范生成的触发器列表。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

发布蓝图

蓝图示例