Amazon Glue 作业运行状态 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Glue 作业运行状态

您可以查看 Amazon Glue 提取、转换、加载(ETL)任务在运行时或停止后的状态。您可以使用 Amazon Glue 控制台、Amazon Command Line Interface(Amazon CLI)或 Amazon Glue API 中的 GetJobRun action (GetJobRun 操作) 查看状态。

可能的任务运行状态为 STARTINGRUNNINGSTOPPINGSTOPPEDSUCCEEDEDFAILEDERRORWAITINGTIMEOUT

下表列出了指示异常任务终止的状态。

任务运行状态 描述
FAILED 任务超过了允许的最大并发运行数,或以未知的退出代码终止。
ERROR 工作流、计划触发器或事件触发器试图运行已删除的任务。
TIMEOUT 任务运行时间超过了其指定的超时值。
WAITING 正等待资源的作业运行。

WAITING 状态表示作业运行正在等待资源。下表描述了不同作业类别的等待行为。

作业类型 行为
Spark 作业(标准) 如果您选择加入 Amazon Glue 作业运行排队,则作业可能会进入“等待”状态,如在 Amazon Glue 中为 Spark 作业配置作业属性中所述。由于您的账户的服务配额或您所在区域的容量限制,作业运行可能处于“等待”状态,并遇到以下错误情况之一:
  • 超出了最大每账户并发作业运行数

  • 超出了最大每作业并发作业运行数(包括账户级别服务限额以及您使用 MaxConcurrentRuns 指定的作业限制)

  • 超出了最大并发计算(DPU 使用量)限制

  • 资源不可用

如果没有足够的资源来启动作业运行,则无论服务配额如何,作业也可能会进入“等待”状态。
Spark 作业(灵活) 如果服务无法获取足够的资源来启动运行,则新任务运行将处于 WAITING(等待)状态,这会延迟运行的开始。运行将最长 20 分钟处于 WAITING(等待)状态(超时由服务控制)。15 分钟后,该服务将尝试强制启动,根据可用容量,运行可能会开始或失败,并显示相应的错误消息。
Python shell 作业 行为与使用 Spark 的标准作业相同。

以下状态图概述了 Amazon Glue 作业生命周期中预期的状态转换。此信息适用于所有作业类型。

概述 Amazon Glue 作业可能经历的状态转换的状态图。