AWS Glue 作业的连续日志记录 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

AWS Glue 作业的连续日志记录

AWS Glue 提供对 AWS Glue 作业进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 作业日志,包括驱动程序日志、执行程序日志和 Apache Spark 作业进度栏。查看实时日志可让您更好地了解正在运行的作业。

当您启动 AWS Glue 作业时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 AWS Glue 控制台或 CloudWatch 控制台控制面板上查看日志。

连续日志记录功能包括以下特性:

  • 具有默认筛选条件的连续日志记录,用于减少日志中过高的详细级别

  • 不带筛选条件的连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 AWS Glue 作业的运行状态

有关GLUE版本2.0支持连续记录的信息,请参阅 运行火花ETL作业,启动时间缩短.