查看 AWS Glue 作业的连续日志记录 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

查看 AWS Glue 作业的连续日志记录

您可以使用 AWS Glue 控制台或 Amazon CloudWatch 控制台查看实时日志。

使用 AWS Glue 控制台控制面板查看实时日志

  1. 登录 AWS 管理控制台并通过以下网址打开 AWS Glue 控制台:https://console.amazonaws.cn/glue/

  2. 在导航窗格中,选择作业

  3. 添加或启动现有作业。选择操作运行作业

    在您开始运行某个作业时,系统会将您导航到包含该运行作业相关信息的页面:

    • 日志显示之前的已聚合应用程序日志。

    • 连续日志记录选项卡在运行的作业初始化了 glueContext 时,显示一个实时进度栏。

    • 连续日志记录选项卡还包含驱动程序日志,这会捕获实时 Apache Spark 驱动程序日志,以及在作业运行时使用 AWS Glue 应用程序日志记录程序记录的脚本中的应用程序日志。

  4. 对于较早的作业,您也可以通过选择日志,在作业历史记录视图下查看实时日志。此操作会将您转到显示所有 Spark 进度栏、执行程序及该作业运行的进度栏日志流的 CloudWatch 控制台。

使用 CloudWatch 控制台控制面板查看实时日志

  1. 通过以下网址打开 CloudWatch 控制台:https://console.amazonaws.cn/cloudwatch/

  2. 在导航窗格选择日志

  3. 选择 /aws-glue/jobs/logs-v2/ 日志组。

  4. 筛选条件框中,粘贴作业运行 ID。

    您可以查看驱动程序日志、执行程序日志和进度栏(如果使用 标准筛选条件)。