Amazon Glue 任务的连续日志记录 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Glue 任务的连续日志记录

Amazon Glue 提供对 Amazon Glue 任务进行实时的连续日志记录。您可以在亚马逊中查看实时 Apache Spark 作业日志 CloudWatch,包括驱动程序日志、执行者日志和 Apache Spark 任务进度条。查看实时日志可让您更好地了解正在运行的任务。

当您启动Amazon Glue作业时,它会在 Spark 应用程序开始运行后将实时日志信息发送到 CloudWatch (每 5 秒钟以及每次执行器终止之前)。您可以在Amazon Glue控制台或控制 CloudWatch 台仪表板上查看日志。

连续日志记录功能包括以下特性:

  • 连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 Amazon Glue 任务的运行状态

有关如何在 Amazon Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间

您可以限制 IAM 角色对 CloudWatch 日志组或流的访问权限以读取日志。有关限制访问的更多详细信息,请参阅文档中的对 CloudWatch 日志使用基于身份的策略(IAM 策略)。 CloudWatch

注意

启用连续日志记录并创建其他 CloudWatch 日志事件时,可能会产生额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价