作业监控和调试 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

作业监控和调试

您可以收集有关 AWS Glue 作业的指标,并在 AWS Glue 和 Amazon CloudWatch 控制台上显示它们,以确定并修复问题。分析 AWS Glue 作业需要执行以下步骤:

  1. 在作业定义中启用 Job metrics (作业指标) 选项。您可以在 AWS Glue 控制台中启用分析,也可以作为作业的参数。有关更多信息,请参阅定义作业属性由 使用的特殊参数AWS Glue

  2. 确认作业脚本初始化 GlueContext。例如,以下脚本代码段初始化 GlueContext 并显示在脚本中放置已分析代码的位置。此常规格式用于后续的调试方案。

    import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job import time ## @params: [JOB_NAME] args = getResolvedOptions(sys.argv, ['JOB_NAME']) sc = SparkContext() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext) job.init(args['JOB_NAME'], args) ... ... code-to-profile ... ... job.commit()
  3. 运行作业。

  4. 在 AWS Glue 控制台上显示相关指标,并确定 driverexecutor 的异常指标。

  5. 使用已确定的指标缩小根本原因范围。

  6. 也可以选择使用已确定驱动程序或作业执行程序的日志流确认根本原因。