查看 AWS Glue 作业的连续日志记录 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看 AWS Glue 作业的连续日志记录

您可以使用 AWS Glue 控制台或 Amazon CloudWatch 控制台查看实时日志。

使用 AWS Glue 控制台控制面板查看实时日志

  1. 登录 AWS 管理控制台并通过以下网址打开 AWS Glue 控制台:https://console.amazonaws.cn/glue/

  2. 在导航窗格中,选择作业

  3. 添加或启动现有作业。选择操作运行作业

    在您开始运行某个作业时,系统会将您导航到包含该运行作业相关信息的页面:

    • 日志显示之前的已聚合应用程序日志。

    • 连续日志记录选项卡在运行的作业初始化了 glueContext 时,显示一个实时进度栏。

    • 连续日志记录选项卡还包含驱动程序日志,这会捕获实时 Apache Spark 驱动程序日志,以及在作业运行时使用 AWS Glue 应用程序日志记录程序记录的脚本中的应用程序日志。

  4. 对于较旧的作业,您还可以在 作业历史记录 通过选择查看 日志. 此操作会将您转到显示所有 Spark 进度栏、执行程序及该作业运行的进度栏日志流的 CloudWatch 控制台。

使用 CloudWatch 控制台控制面板查看实时日志

  1. 通过以下网址打开 CloudWatch 控制台:https://console.amazonaws.cn/cloudwatch/

  2. 在导航窗格选择日志

  3. 选择 /aws-glue/jobs/logs-v2/ 日志组。

  4. 筛选条件框中,粘贴作业运行 ID。

    您可以查看驱动程序日志、执行程序日志和进度栏(如果使用 标准筛选条件)。