Amazon Glue 作业的连续日志记录 - Amazon连接词
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Glue 作业的连续日志记录

Amazon Glue 提供对 Amazon Glue 作业进行实时的连续日志记录。您可以在 Amazon CloudWatch 中查看实时 Apache Spark 作业日志,包括驱动程序日志、执行程序日志和 Apache Spark 作业进度栏。查看实时日志可让您更好地了解正在运行的作业。

在您启动Amazon Glue作业,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每次执行程序终止之前,每次)。您可以在Amazon Glue控制台或 CloudWatch 控制台控制台控制面板。

连续日志记录功能包括以下特性:

  • 具有默认筛选条件的连续日志记录,用于减少日志中过高的详细级别

  • 不带筛选条件的连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 Amazon Glue 作业的运行状态

有关如何支持连续日志记录Amazon Glue2.0 版,请参阅运行 Spark ETL 作业,缩短启动时间