AWS Glue 作业的连续日志记录 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Glue 作业的连续日志记录

AWS Glue 提供对 AWS Glue 作业进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 作业日志,包括驱动程序日志、执行程序日志和 Apache Spark 作业进度栏。查看实时日志可让您更好地了解正在运行的作业。

当您启动 AWS Glue 作业时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 AWS Glue 控制台或 CloudWatch 控制台控制面板上查看日志。

连续日志记录功能包括以下特性:

  • 具有默认筛选条件的连续日志记录,用于减少日志中过高的详细级别

  • 不带筛选条件的连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 AWS Glue 作业的运行状态

有关 AWS Glue 2.0 版中如何支持连续日志记录的信息,请参阅在缩短启动时间的情况下运行 Spark ETL 作业