Workflows - AWS Glue
 —  数据类型  —JobNodeDetailsCrawlerNodeDetailsTriggerNodeDetails爬网节点边缘WorkflowGraphWorkflowRunWorkflowRunStatisticsWorkflow (工作流程) —  操作  —CreateWorkflow (创建工作流)UpdateWorkflow (更新工作流程)DeleteWorkflow (删除工作流)GetWorkflow (获取工作流)ListWorkflows (列出工作流程)BatchGetWorkflows (批量_获取_工作流程)GetWorkflowRun (获取工作流运行)GetWorkflowRuns (获取工作流运行)GetWorkflowRunProperties (获取工作流运行属性)PutWorkflowRunProperties (输入工作流运行属性)StartWorkflowRun (开始_工作流_运行)StopWorkflowRun (stop_workflow_run)(停止工作流运行)ResumeWorkflowRun (恢复_工作流_运行)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Workflows

工作流程 API 介绍与在 AWS Glue 中创建、更新或查看工作流程相关的数据类型和 API。

数据类型

JobNodeDetails结构

工作流程中展示的作业节点的详细信息。

Fields

  • JobRuns – 一系列 JobRun 对象。

    作业节点表示的作业运行的信息。

CrawlerNodeDetails结构

工作流程中存在的爬网程序节点的详细信息。

Fields

  • Crawls – 一系列 爬网 对象。

    爬网节点表示的爬网的列表。

TriggerNodeDetails结构

工作流程中存在的触发器节点的详细信息。

Fields

  • Trigger – 一个 触发器 对象。

    触发器节点表示的触发器的信息。

爬网结构

工作流程中的爬网的详细信息。

Fields

  • State – UTF-8字符串(有效值: RUNNING |内测 CANCELLING |内测 CANCELLED |内测 SUCCEEDED |内测 FAILED)。

    爬网程序的状态。

  • StartedOn – 时间戳。

    爬网操作的开始日期和时间。

  • CompletedOn – 时间戳。

    爬网操作的完成日期和时间。

  • ErrorMessage – 描述字符串,长度不超过2048字节,匹配 URI address multi-line string pattern.

    与爬网关联的错误消息。

  • LogGroup – UTF-8字符串,长度不少于1或512字节,匹配 Log group string pattern.

    与爬网关联的日志组。

  • LogStream – UTF-8字符串,长度不少于1或512字节,匹配 Log-stream string pattern.

    与爬网关联的日志流。

节点结构

节点表示AWS冲刷组件,例如触发器或作业等,它是工作流程的一部分。

Fields

  • Type – UTF-8字符串(有效值: CRAWLER |内测 JOB |内测 TRIGGER)。

    节点表示的 AWS Glue 组件的类型。

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    节点表示的 AWS Glue 组件的名称。

  • UniqueId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    分配给工作流程中的节点的唯一 ID。

  • TriggerDetails – 一个 TriggerNodeDetails 对象。

    触发器的详细信息（当节点表示触发器时）。

  • JobDetails – 一个 JobNodeDetails 对象。

    作业的详细信息（当节点表示作业时）。

  • CrawlerDetails – 一个 CrawlerNodeDetails 对象。

    爬网程序的详细信息（当节点表示爬网程序时）。

边缘结构

边缘表示边缘属于的工作流程中两个AWSGlue组件之间的定向连接。

Fields

  • SourceId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    边缘在其中启动的工作流程中节点的唯一 ID。

  • DestinationId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    边缘在其中终止的工作流程中节点的唯一 ID。

WorkflowGraph结构

工作流程图表示完整的工作流程，其中包含工作流程中存在的所有 AWS Glue 组件以及它们之间的所有定向连接。

Fields

  • Nodes – 一系列 节点 对象。

    属于工作流程的表示为节点的 AWS Glue 组件的列表。

  • Edges – 一系列 边缘 对象。

    属于工作流程的节点之间的所有定向连接的列表。

WorkflowRun结构

工作流程运行是提供所有运行时信息的工作流程的执行。

Fields

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    已执行的工作流的名称。

  • WorkflowRunId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    此工作流程运行的 ID。

  • PreviousRunId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    上一个工作流的ID运行。

  • WorkflowRunProperties – 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    运行期间设置的工作流程运行属性。

  • StartedOn – 时间戳。

    工作流程运行的开始日期和时间。

  • CompletedOn – 时间戳。

    工作流程运行的完成日期和时间。

  • Status – UTF-8字符串(有效值: RUNNING |内测 COMPLETED |内测 STOPPING |内测 STOPPED |内测 ERROR)。

    工作流程运行的状态。

  • ErrorMessage – UTF-8字符串.

    此错误消息描述了启动工作流运行时可能发生的任何错误。目前唯一的错误消息是“工作流程超过并发运行次数: foo”

  • Statistics – 一个 WorkflowRunStatistics 对象。

    运行的统计数据。

  • Graph – 一个 WorkflowGraph 对象。

    将属于工作流程的所有 AWS Glue 组件表示为节点，并将它们之间的定向连接表示为边缘的图表。

WorkflowRunStatistics结构

工作流程运行统计数据提供了有关工作流程运行的统计数据。

Fields

  • TotalActions – 数字(整数)。

    工作流程运行中的操作的总数。

  • TimeoutActions – 数字(整数)。

    超时的操作总数。

  • FailedActions – 数字(整数)。

    失败的操作总数。

  • StoppedActions – 数字(整数)。

    已停止的操作总数。

  • SucceededActions – 数字(整数)。

    成功的操作总数。

  • RunningActions – 数字(整数)。

    处于正在运行状态的操作的总数。

工作流程结构

工作流程表示应执行 AWS Glue 组件以完成逻辑任务的流程。

Fields

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    表示流的工作流程的名称。

  • Description – UTF-8字符串.

    工作流程的描述。

  • DefaultRunProperties – 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合。

  • CreatedOn – 时间戳。

    工作流程的创建日期和时间。

  • LastModifiedOn – 时间戳。

    工作流程的最后修改日期和时间。

  • LastRun – 一个 WorkflowRun 对象。

    有关上次工作流程执行的信息。

  • Graph – 一个 WorkflowGraph 对象。

    将属于工作流程的所有 AWS Glue 组件表示为节点，并将它们之间的定向连接表示为边缘的图表。

  • CreationStatus – UTF-8字符串(有效值: CREATING |内测 CREATED |内测 CREATION_FAILED)。

    工作流程的创建状态。

  • MaxConcurrentRuns – 数字(整数)。

    您可以使用此参数来防止不必要的多次数据更新,以控制成本,或者在某些情况下,防止超过任何组件作业的并发运行的最大次数。如果将此参数留空,则不会限制并发工作流的运行次数。

Operations

CreateWorkflow 操作(Python:create_workflow)

创建新的工作流程。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要向工作流程分配的名称。它应在您的账户中是唯一的。

  • Description – UTF-8字符串.

    工作流程的描述。

  • DefaultRunProperties – 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合。

  • Tags – 键值对的映射数组,不超过50对。

    每个键都是一个 UTF-8 字符串，长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串，不超过 256 个字节。

    要用于此工作流程的标签。

  • MaxConcurrentRuns – 数字(整数)。

    您可以使用此参数来防止不必要的多次数据更新,以控制成本,或者在某些情况下,防止超过任何组件作业的并发运行的最大次数。如果将此参数留空,则不会限制并发工作流的运行次数。

Response

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    作为请求的一部分提供的工作流程的名称。

Errors

  • AlreadyExistsException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

UpdateWorkflow 操作(Python:update_workflow)

更新现有工作流程。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要更新的工作流程的名称。

  • Description – UTF-8字符串.

    工作流程的描述。

  • DefaultRunProperties – 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    要用作每个工作流程执行的一部分的属性的集合。

  • MaxConcurrentRuns – 数字(整数)。

    您可以使用此参数来防止不必要的多次数据更新,以控制成本,或者在某些情况下,防止超过任何组件作业的并发运行的最大次数。如果将此参数留空,则不会限制并发工作流的运行次数。

Response

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    输入中指定的工作流程的名称。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

DeleteWorkflow 操作(Python:delete_workflow)

删除工作流程。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要删除的工作流程的名称。

Response

  • Name – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    输入中指定的工作流程的名称。

Errors

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

GetWorkflow 操作(Python:get_workflow)

检索工作流程的资源元数据。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要检索的工作流程的名称。

  • IncludeGraph – 布尔值。

    指定在返回工作流程资源元数据时是否包含图表。

Response

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ListWorkflows 操作(Python:list_workflows)

列出账户中创建的工作流程的名称。

Request

  • NextToken – UTF-8字符串.

    延续令牌 (如果这是延续请求)。

  • MaxResults – 数字(整数),不低于1或大于1000。

    要返回的列表的最大大小。

Response

  • Workflows – 一组UTF-8字符串,不少于1或25个字符串。

    账户中工作流程的名称的列表。

  • NextToken – UTF-8字符串.

    延续令牌（如果尚未返回所有工作流程名称）。

Errors

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

BatchGetWorkflows 操作(Python:batch_get_workflows)

返回一系列给定工作流程名称的资源元数据列表。在调用 ListWorkflows 操作后，您可以调用此操作来访问您有权访问的数据。此操作支持所有 IAM 权限，包括使用标签的权限条件。

Request

  • Names – 必填: 一组UTF-8字符串,不少于1或25个字符串。

    触发器名称的列表，这些名称可能是通过 ListWorkflows 操作返回的名称。

  • IncludeGraph – 布尔值。

    指定在返回工作流程资源元数据时是否包含图表。

Response

  • Workflows – 一系列 Workflow (工作流程) 对象,不少于1个或25个结构。

    工作流程资源元数据的列表。

  • MissingWorkflows – 一组UTF-8字符串,不少于1或25个字符串。

    未找到工作流程名称的列表。

Errors

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

GetWorkflowRun 操作(Python:get_workflow_run)

检索给定工作流程运行的元数据。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要运行的工作流程的名称。

  • RunId – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    工作流程运行的 ID。

  • IncludeGraph – 布尔值。

    指定是否在响应中包含工作流程图表。

Response

  • Run – 一个 WorkflowRun 对象。

    请求的工作流程运行元数据。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetWorkflowRuns 操作(Python:get_workflow_runs)

检索给定工作流程的所有运行的元数据。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要返回其运行元数据的工作流程的名称。

  • IncludeGraph – 布尔值。

    指定是否在响应中包含工作流程图表。

  • NextToken – UTF-8字符串.

    响应的最大大小。

  • MaxResults – 数字(整数),不低于1或大于1000。

    要包含在响应中的工作流程运行的最大数目。

Response

  • Runs – 一系列 WorkflowRun 对象,不少于1个结构。

    工作流程运行元数据对象的列表。

  • NextToken – UTF-8字符串.

    延续令牌（如果尚未返回所有请求的工作流程运行）。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetWorkflowRunProperties 操作(Python:get_workflow_run_properties)

检索运行期间已测试的工作流程运行属性。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    已运行的工作流程的名称。

  • RunId – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    应返回其运行属性的工作流程运行的 ID。

Response

  • RunProperties – 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    指定运行期间已测试的工作流程运行属性。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

PutWorkflowRunProperties 操作(Python:put_workflow_run_properties)

为给定工作流程运行放置指定的工作流程运行属性。如果指定的运行中已存在属性，则重写该值，否则将该属性添加到现有属性。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    已运行的工作流程的名称。

  • RunId – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    应更新其运行属性的工作流程运行的 ID。

  • RunProperties – 必填: 键值对的映射阵列。

    每个键是一个 UTF-8 字符串，不少于 1 个字节或超过 255 个字节，与 Single-line string pattern 匹配。

    每个值是一个 UTF-8 字符串。

    为指定的运行放置的属性。

Response

  • 无响应参数。

Errors

  • AlreadyExistsException

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

StartWorkflowRun 操作(Python:start_workflow_run)

启动指定的工作流程的新运行。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要启动的工作流程的名称。

Response

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

StopWorkflowRun 操作(Python:stop_workflow_run)

停止执行指定的工作流程运行。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要停止的工作流程的名称。

  • RunId – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要停止的工作流程运行的 ID。

Response

  • 无响应参数。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • IllegalWorkflowStateException

ResumeWorkflowRun 操作(Python:resume_workflow_run)

重新启动先前部分完成的工作流运行的选定节点,并恢复工作流运行。将运行选定节点和选定节点下游的所有节点。

Request

  • Name – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    要恢复的工作流的名称。

  • RunId – 必填: UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    工作流的ID运行以恢复。

  • NodeIds – 必填: 一串UTF-8字符串。

    节点列表 IDs 用于要重新启动的节点。要重新启动的节点必须在原始运行中尝试运行。

Response

  • RunId – UTF-8字符串,长度不少于1或255字节,匹配 Single-line string pattern.

    分配给已恢复工作流的新ID运行。工作流运行的每次恢复将具有新的运行ID。

  • NodeIds – 一串UTF-8字符串。

    节点列表 IDs 用于实际重新启动的节点。

Errors

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentRunsExceededException

  • IllegalWorkflowStateException