Workflows - AWS Glue
 —  数据类型  —JobNodeDetailsCrawlerNodeDetailsTriggerNodeDetails爬网节点。边缘WorkflowGraphWorkflowRunWorkflowRunStatisticsWorkflow (工作流程) —  操作  —CreateWorkflow (create_workflow)UpdateWorkflow (update_workflow)DeleteWorkflow (delete_workflow)GetWorkflow (get_workflow)ListWorkflows (list_workflows)BatchGetWorkflows (batch_get_workflows)GetWorkflowRun (get_workflow_run)GetWorkflowRuns (get_workflow_runs)GetWorkflowRunProperties (get_workflow_run_properties)PutWorkflowRunProperties (put_workflow_run_properties)StartWorkflowRun (start_workflow_run)StopWorkflowRun (stop_workflow_run)恢复工作流运行(resume_工作流运行)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

如果我们为英文版本指南提供翻译，那么如果存在任何冲突，将以英文版本指南为准。在提供翻译时使用机器翻译。

Workflows

工作流程 API 介绍与在 AWS Glue 中创建、更新或查看工作流程相关的数据类型和 API。

数据类型

JobNodeDetails 结构

工作流程中展示的作业节点的详细信息。

Fields

  • JobRuns – 一系列 JobRun 对象。

    作业节点表示的作业运行的信息。

CrawlerNodeDetails 结构

工作流程中存在的爬网程序节点的详细信息。

Fields

  • Crawls – 一系列 爬网 对象。

    爬网节点表示的爬网的列表。

TriggerNodeDetails 结构

工作流程中存在的触发器节点的详细信息。

Fields

  • Trigger – 一个 触发器 对象。

    触发器节点表示的触发器的信息。

爬网结构

工作流程中的爬网的详细信息。

Fields

  • State – UTF-8串(有效值: RUNNING | CANCELLING | CANCELLED | SUCCEEDED | FAILED)。

    爬网程序的状态。

  • StartedOn – 时间戳。

    爬网操作的开始日期和时间。

  • CompletedOn – 时间戳。

    爬网操作的完成日期和时间。

  • ErrorMessage – 描述串,长度不超过2048帧,与 URI address multi-line string pattern.

    与爬网关联的错误消息。

  • LogGroup – UTF-8串,长度不小于1或超过512帧,与 Log group string pattern.

    与爬网关联的日志组。

  • LogStream – UTF-8串,长度不小于1或超过512帧,与 Log-stream string pattern.

    与爬网关联的日志流。

节点结构

节点表示作为工作流程组成部分的AWA胶质组件,如触发因素或作业等。

Fields

  • Type – UTF-8串(有效值: CRAWLER | JOB | TRIGGER)。

    节点表示的 AWS Glue 组件的类型。

  • Name – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    节点表示的 AWS Glue 组件的名称。

  • UniqueId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    分配给工作流程中的节点的唯一 ID。

  • TriggerDetails – 一个 TriggerNodeDetails 对象。

    触发器的详细信息（当节点表示触发器时）。

  • JobDetails – 一个 JobNodeDetails 对象。

    作业的详细信息（当节点表示作业时）。

  • CrawlerDetails – 一个 CrawlerNodeDetails 对象。

    爬网程序的详细信息（当节点表示爬网程序时）。

边缘结构

边缘表示边缘属于的工作流程中的两个ASMGlue组件之间的定向连接。

Fields

  • SourceId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    边缘在其中启动的工作流程中节点的唯一 ID。

  • DestinationId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    边缘在其中终止的工作流程中节点的唯一 ID。

WorkflowGraph 结构

工作流程图表示完整的工作流程，其中包含工作流程中存在的所有 AWS Glue 组件以及它们之间的所有定向连接。

Fields

  • Nodes – 一系列 节点。 对象。

    属于工作流程的表示为节点的 AWS Glue 组件的列表。

  • Edges – 一系列 边缘 对象。

    属于工作流程的节点之间的所有定向连接的列表。

WorkflowRun 结构

工作流程运行是提供所有运行时信息的工作流程的执行。

Fields

  • Name – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    已执行的工作流的名称。

  • WorkflowRunId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    此工作流程运行的 ID。

  • PreviousRunId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    运行上一工作流的ID。

  • WorkflowRunProperties – 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    运行期间设置的工作流程运行属性。

  • StartedOn – 时间戳。

    工作流程运行的开始日期和时间。

  • CompletedOn – 时间戳。

    工作流程运行的完成日期和时间。

  • Status – UTF-8 字符串（有效值：– | RUNNING | COMPLETED | STOPPING | STOPPED）。

    工作流程运行的状态。

  • Statistics – 一个 WorkflowRunStatistics 对象。

    运行的统计数据。

  • Graph – 一个 WorkflowGraph 对象。

    将属于工作流程的所有 AWS Glue 组件表示为节点，并将它们之间的定向连接表示为边缘的图表。

WorkflowRunStatistics 结构

工作流程运行统计数据提供了有关工作流程运行的统计数据。

Fields

  • TotalActions – 编号(整数)。

    工作流程运行中的操作的总数。

  • TimeoutActions – 编号(整数)。

    超时操作总数。

  • FailedActions – 编号(整数)。

    失败的操作总数。

  • StoppedActions – 编号(整数)。

    已停止的操作总数。

  • SucceededActions – 编号(整数)。

    成功的操作总数。

  • RunningActions – 编号(整数)。

    处于正在运行状态的操作的总数。

工作流程结构

工作流程表示应执行 AWS Glue 组件以完成逻辑任务的流程。

Fields

  • Name – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    表示流的工作流程的名称

  • Description – UTF-8串。

    工作流程的描述

  • DefaultRunProperties – 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合

  • CreatedOn – 时间戳。

    工作流程的创建日期和时间。

  • LastModifiedOn – 时间戳。

    工作流程的最后修改日期和时间。

  • LastRun – 一个 WorkflowRun 对象。

    有关上次工作流程执行的信息。

  • Graph – 一个 WorkflowGraph 对象。

    将属于工作流程的所有 AWS Glue 组件表示为节点，并将它们之间的定向连接表示为边缘的图表。

  • CreationStatus – UTF-8串(有效值: CREATING | CREATED | CREATION_FAILED)。

    工作流程的创建状态。

Operations

CreateWorkflow 操作（Python：create_workflow）

创建新的工作流程。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要向工作流程分配的名称。它应在您的账户中是唯一的。

  • Description – UTF-8串。

    工作流程的描述

  • DefaultRunProperties – 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合

  • Tags – 密钥值对的映射阵列,不超过50对。

    每个键都是一个 UTF-8 字符串，长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串，不超过 256 个字节。

    要用于此工作流程的标签。

Response

  • Name – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    作为请求的一部分提供的工作流程的名称。

Errors

  • AlreadyExistsException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

UpdateWorkflow 操作（Python：update_workflow）

更新现有工作流程。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要更新的工作流程的名称。

  • Description – UTF-8串。

    工作流程的描述。

  • DefaultRunProperties – 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合

Response

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

DeleteWorkflow 操作（Python：delete_workflow）

删除工作流程。

Request

Response

Errors

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

GetWorkflow 操作（Python：get_workflow）

检索工作流程的资源元数据。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要检索的工作流程的名称。

  • IncludeGraph – 布尔值

    指定在返回工作流程资源元数据时是否包含图表。

Response

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ListWorkflows 操作（Python：list_workflows）

列出账户中创建的工作流程的名称。

Request

  • NextToken – UTF-8串。

    延续令牌 (如果这是延续请求)。

  • MaxResults – 数量(整数),不小于1或大于1000。

    要返回的列表的最大大小。

Response

  • Workflows – UTF-8串,不小于1或多于25个串。

    账户中工作流程的名称的列表。

  • NextToken – UTF-8串。

    延续令牌（如果尚未返回所有工作流程名称）。

Errors

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

BatchGetWorkflows 操作（Python：batch_get_workflows）

返回一系列给定工作流程名称的资源元数据列表。在调用 ListWorkflows 操作后，您可以调用此操作来访问您有权访问的数据。此操作支持所有 IAM 权限，包括使用标签的权限条件。

Request

  • Names – 必填: UTF-8串,不小于1或多于25个串。

    触发器名称的列表，这些名称可能是通过 ListWorkflows 操作返回的名称。

  • IncludeGraph – 布尔值

    指定在返回工作流程资源元数据时是否包含图表。

Response

  • Workflows – 一系列 Workflow (工作流程) 对象,结构不小于1或超过25个。

    工作流程资源元数据的列表。

  • MissingWorkflows – UTF-8串,不小于1或多于25个串。

    未找到工作流程名称的列表。

Errors

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

GetWorkflowRun 操作（Python：get_workflow_run）

检索给定工作流程运行的元数据。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要运行的工作流程的名称。

  • RunId – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    工作流程运行的 ID。

  • IncludeGraph – 布尔值

    指定是否在响应中包含工作流程图表。

Response

  • Run – 一个 WorkflowRun 对象。

    请求的工作流程运行元数据。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetWorkflowRuns 操作（Python：get_workflow_runs）

检索给定工作流程的所有运行的元数据。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要返回其运行元数据的工作流程的名称。

  • IncludeGraph – 布尔值

    指定是否在响应中包含工作流程图表。

  • NextToken – UTF-8串。

    响应的最大大小。

  • MaxResults – 数量(整数),不小于1或大于1000。

    要包含在响应中的工作流程运行的最大数目。

Response

  • Runs – 一系列 WorkflowRun 对象,结构不小于1或超过1000个。

    工作流程运行元数据对象的列表。

  • NextToken – UTF-8串。

    延续令牌（如果尚未返回所有请求的工作流程运行）。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetWorkflowRunProperties 操作（Python: get_workflow_run_properties）

检索运行期间已测试的工作流程运行属性。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    已运行的工作流程的名称。

  • RunId – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    应返回其运行属性的工作流程运行的 ID。

Response

  • RunProperties – 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    指定运行期间已测试的工作流程运行属性。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

PutWorkflowRunProperties 操作（Python：put_workflow_run_properties）

为给定工作流程运行放置指定的工作流程运行属性。如果指定的运行中已存在属性，则重写该值，否则将该属性添加到现有属性。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    已运行的工作流程的名称。

  • RunId – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    应更新其运行属性的工作流程运行的 ID。

  • RunProperties – 必填: 密钥值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    为指定的运行放置的属性。

Response

  • 无响应参数。

Errors

  • AlreadyExistsException

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

StartWorkflowRun 操作（Python：start_workflow_run）

启动指定的工作流程的新运行。

Request

Response

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

StopWorkflowRun Action（Python: stop_workflow_run）

停止执行指定的工作流程运行。

Request

Response

  • 无响应参数。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • IllegalWorkflowStateException

恢复工作流运行操作(Python:resum_工作流_运行)

重新启动之前部分完成的工作流运行的选定节点,并恢复工作流运行。将运行选定的节点和选定节点下游的所有节点。

Request

  • Name – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    要恢复的工作流的名称。

  • RunId – 必填: UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    工作流程的ID运行以恢复。

  • NodeIds – 必填: UTF-8串。

    您要重新启动的节点的节点ID列表。要在原始运行中重新启动的节点必须尝试运行。

Response

  • RunId – UTF-8串,长度不小于1或超过255帧,与 Single-line string pattern.

    分配给恢复工作流程的新ID运行。工作流运行的每次简历将有一个新的运行ID。

  • NodeIds – UTF-8串。

    实际上重新启动的节点的节点ID列表。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentRunsExceededException

  • IllegalWorkflowStateException