Amazon Glue 任务的连续日志记录 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

Amazon Glue 任务的连续日志记录

Amazon Glue 提供对 Amazon Glue 任务进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 任务日志,包括驱动程序日志、执行程序日志和 Apache Spark 任务进度栏。查看实时日志可让您更好地了解正在运行的任务。

当您启动 Amazon Glue 任务时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 Amazon Glue 控制台或 CloudWatch 控制台控制面板上查看日志。

连续日志记录功能包括以下特性:

  • 具有默认筛选条件的连续日志记录,用于减少日志中过高的详细级别

  • 不带筛选条件的连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 Amazon Glue 任务的运行状态

有关如何在 Amazon Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间

您可以将对 CloudWatch 日志组或 IAM 角色的流的访问限制为读取日志。有关限制访问的更多详细信息,请参阅 CloudWatch 文档中的将基于身份的策略(IAM 策略)用于 CloudWatch 日志