在 AWS Glue 中运行和监控工作流 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 AWS Glue 中运行和监控工作流

AWS Glue 蓝图功能目前为 AWS Glue 的预览版,随时可能更改。

如果工作流程的启动触发器是按需触发器,请从 AWS Glue 控制台启动工作流程。完成以下操作以运行和监控工作流程。如果工作流程失败,请查看运行图,以确定失败的节点。为了帮助进行故障排除,如果工作流是根据蓝图创建的,则可以查看蓝图运行以查看用于创建工作流的蓝图参数值。有关更多信息,请参阅 在 AWS Glue 中查看蓝图运行

您可以使用 AWS Glue 控制台、API 或 AWS Command Line Interface (AWS CLI) 运行和监控工作流程。

运行和监控工作流程(控制台)

  1. 打开 AWS Glue 控制台,请访问https://console.aws.amazon.com/glue/

  2. 在导航窗格中,在 ETL 下,选择 Workflows (工作流程)

  3. 选择工作流程。在 Actions (操作) 菜单上,选择 Run (运行)

  4. 检查上次运行状态列中的工作流列表。选择刷新按钮以查看正在进行的工作流程状态。

  5. 当工作流正在运行或完成(或失败)后,请通过完成以下步骤查看运行详细信息。

    1. 确保已选择工作流程,然后选择历史记录选项卡。

    2. 选择当前或最近的工作流程运行,然后选择查看运行详细信息

      工作流运行时图表显示当前运行状态。

    3. 选择图形中的任何节点以查看节点的详细信息和状态。

      
                            运行图显示启动触发器,用于启动作业。另一个触发器监视作业完成。作业节点(包含剪贴板图标和作业名称的矩形)处于选中状态,并且作业详细信息显示在右侧窗格中。作业详细信息包括作业运行 ID 和状态。

运行和监控工作流程 (AWS CLI)

  1. 输入以下命令。Replace <workflow-name> 与要运行的工作流程。

    aws glue start-workflow-run --name <workflow-name>

    如果工作流程成功启动,则此命令将返回运行 ID。

  2. 查看工作流运行状态,方法是使用get-workflow-run命令。提供工作流名称和运行 ID。

    aws glue get-workflow-run --name myWorkflow --run-id wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705

    以下是示例命令输出。

    {
        "Run": {
            "Name": "myWorkflow",
            "WorkflowRunId": "wr_d2af14217e8eae775ba7b1fc6fc7a42c795aed3cbcd8763f9415452e2dbc8705",
            "WorkflowRunProperties": {
                "run_state": "COMPLETED",
                "unique_id": "fee63f30-c512-4742-a9b1-7c8183bdaae2"
            },
            "StartedOn": 1578556843.049,
            "CompletedOn": 1578558649.928,
            "Status": "COMPLETED",
            "Statistics": {
                "TotalActions": 11,
                "TimeoutActions": 0,
                "FailedActions": 0,
                "StoppedActions": 0,
                "SucceededActions": 9,
                "RunningActions": 0,
                "ErroredActions": 0
            }
        }
    }