监控中的 ETL 作业AmazonGlue 工作室 - AmazonGlue 工作室
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控中的 ETL 作业AmazonGlue 工作室

监控是维护中使用的 ETL 作业的可靠性、可用性和性能的重要环节。Amazon Glue和AmazonGlue 工作室 您应从 Amazon 解决方案的所有部分收集监控数据,以便更轻松地调试出现的多点故障。

访问作业监视仪表板

您可以访问作业监视仪表板,方法是选择监控中的AmazonGlue 工作室导航窗格。

作业监控仪表板概述

作业监视仪表板提供作业运行的总体摘要,以及状态为正在运行已取消成功,或者已失败。其他磁贴提供了总体作业运行成功率、作业的估计 DPU 使用率、作业类型、工作人员类型和天数的作业状态计数细分。

切片中的图形是交互式的。您可以选择图形中的任何块来运行一个过滤器,该过滤器仅显示Job 运行细分页面底部的表。

您可以通过使用日期范围选择器。更改日期范围时,信息磁贴会进行调整,以显示当前日期之前指定天数的值。您还可以使用特定日期范围,如果您选择Custom (自定义)从日期范围选择器。

Job 运行视图

这些区域有:Job 运行细分资源列表显示指定日期范围内的作业和筛选器。

您可以根据其他条件(如状态、工作人员类型、作业类型和作业名称)筛选作业。在表格顶部的筛选器框中,您可以输入要用作筛选器的文本。当您输入文本时,将使用包含匹配文本的行更新表结果。

您可以通过从作业监视仪表板上的图形中选择元素来查看作业的子集。例如,如果您选择Job 运行摘要磁贴,然后选择Job 运行细分列表仅显示当前状态为Running。如果您选择工作线程类型细分条形图,则只有具有匹配工作线程类型和状态的作业运行才会显示在Job 运行细分列表。

这些区域有:Job 运行细分资源列表显示作业运行的详细信息。可以通过选择列标题对表中的行进行排序。该表包含以下信息:

属性 描述
作业名称 任务名称
类型

作业环境的类型:

  • ETL Glue 附:在由托管的 Apache Spark 环境内运行。Amazon Glue。

  • Glue 流:在 Apache Spark 环境内运行并对数据流执行 ETL。

  • Python Shell:作为外壳运行 Python 脚本

开始时间

此作业运行的启动日期和时间。

End Time

此作业运行的完成日期和时间。

运行状态

作业运行的当前状态。值可以是:

  • STARTING

  • RUNNING

  • STOPPING

  • STOPPED

  • SUCCEEDED

  • FAILED

  • TIMEOUT

运行时间 作业运行使用资源的时间长度。
Capacity

的数量Amazon Glue数据处理单元 (DPU),分配给此作业运行的。有关容量规划的更多信息,请参阅DPU 容量规划监控中的Amazon Glue开发人员指南

工作线程类型

作业运行时分配的预定义工作线程的类型。值可以是StandardG.1X,或者G.2X

DPU 小时

作业运行使用的估计 DPU 数量。DPU 是处理能力的相对衡量标准。DPU 用于确定运行任务的成本。有关更多信息,请参阅 Amazon Glue 定价页

您可以在列表中选择任何作业运行并查看其他信息。选择作业运行,然后执行以下操作之一:

  • 选择操作菜单和查看作业选项以在可视化编辑器中查看作业。

  • 选择操作菜单和停止运行选项停止作业的当前运行。

  • 选择查看 CloudWatch 日志按钮查看该作业的作业运行日志。

  • 选择查看运行详细信息查看作业运行详细信息页面。

查看作业运行日志

您可通过多种方式查看作业日志:

  • 在存储库的监控页面上的Job 运行细分表中,选择作业运行,然后选择查看 CloudWatch 日志

  • 在可视化作业编辑器中,在运行选项卡上,选择超链接以查看日志:

    • 日志— 为作业运行启用连续日志记录时写入的 Apache Spark 作业日志的链接。当您选择此链接时,它会将您转到Amazon CloudWatch中的日志/aws-glue/jobs/logs-v2日志组。默认情况下,日志会排除无用的 Apache Hadoop YARN 检测信号和 Apache Spark 驱动程序或执行程序日志消息。有关连续日志记录的更多信息,请参阅连续日志记录Amazon Glue作业中的Amazon Glue开发人员指南

    • 错误日志— 指向写入的日志的链接stderr,以运行此作业。当您选择此链接时,它会将您转到Amazon CloudWatch中的日志/aws-glue/jobs/error日志组。您可以使用这些日志查看有关在作业运行期间遇到的任何错误的详细信息。

    • 输出日志输出— 指向写入的日志的链接stdout,以运行此作业。当您选择此链接时,它会将您转到Amazon CloudWatch中的日志/aws-glue/jobs/output日志组。您可以使用这些日志查看有关在Amazon Glue Data Catalog以及遇到的任何错误。

查看作业运行的详细信息

您可以在Job 运行细分上的列表监控页面,然后选择查看运行详细信息查看该作业运行的详细信息。

作业运行详细信息页面上显示的信息包括:

属性 描述
作业名称 任务名称
运行状态

作业运行的当前状态。值可以是:

  • STARTING

  • RUNNING

  • STOPPING

  • STOPPED

  • SUCCEEDED

  • FAILED

  • TIMEOUT

Glue 版本 这些区域有:Amazon Glue作业运行使用的版本
最近尝试 此作业运行的自动重试次数
开始时间

此作业运行的启动日期和时间

End Time

此作业运行的完成日期和时间

启动时间

准备运行作业所花费的时间长度

执行时间

运行作业脚本所花费的时间长度

触发器名称

与任务关联的触发器的名称

上次修改时间为

上次修改任务的日期

安全配置

作业的安全配置,包括 Amazon S3 加密、CloudWatch 加密和作业书签加密设置

Timeout 作业运行超时阈值
已分配容量

的数量Amazon Glue数据处理单元 (DPU),分配给此作业运行的。有关容量规划的更多信息,请参阅DPU 容量规划监控中的Amazon Glue开发人员指南

Max 容量

作业运行可用的最大容量。

工作线程数 用于作业运行的工作人员数
工作线程类型

为作业运行分配的预定义工作人员的类型。值可以是StandardG.1X,或者G.2X

日志 连续日志记录的作业日志链接 (/aws-glue/jobs/logs-v2
输出日志输出 指向任务输出日志文件 (/aws-glue/jobs/output
错误日志 指向任务错误日志文件 (/aws-glue/jobs/error

查看Amazon CloudWatch作业运行的指标

在作业运行的详细信息页面上,运行详细信息部分中,您可以查看作业指标。AmazonGlue 工作室将作业指标发送到Amazon CloudWatch用于每个作业运行。

Amazon Glue将指标报告到Amazon CloudWatch每 30 秒 Amazon Glue 指标表示先前报告的值的增量值。在适当时,指标控制面板会聚合(合计)30 秒值以获取整个最后一分钟的值。但是,Apache Spark 指标Amazon Glue传递到Amazon CloudWatch通常是表示在报告它们时的当前状态的绝对值。

注意

您必须配置您的帐户才能访问Amazon CloudWatch,如中所述Amazon CloudWatch 权限

指标提供有关作业运行的信息,例如:

  • ETL 数据移动— 从 Amazon S3 中读取或写入 Amazon S3 的字节数。

  • Memory 配置文件:堆使用— Java 虚拟机 (JVM) 堆使用的内存字节数。

  • 内存配置文件:堆使用情况— JVM 堆使用的内存所占的比例(比例:0—1),以百分比显示。

  • CPU 负载— 使用的 CPU 系统负载所占的比例(比例:0—1),以百分比显示。