监控 Amazon Glue Spark 作业 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控 Amazon Glue Spark 作业

Spark 指标可在中找到 Amazon Glue Studio

Metrics (指标) 选项卡显示启用任务运行和分析时收集的指标。Spark 作业显示了以下图表:

  • ETL 数据移动

  • 内存配置文件:驱动程序和执行程序

选择 View additional metrics (查看其他指标) 显示以下图表:

  • ETL 数据移动

  • 内存配置文件:驱动程序和执行程序

  • 执行程序之间的数据随机排序

  • CPU 负载:驱动程序和执行程序

  • 作业执行:活动执行程序、已完成的阶段和需求最大的执行程序

如果任务配置为收集 CloudWatch 指标,则这些图表的数据将推送到指标。有关如何启用指标和解释图表的更多信息,请参阅作业监控和调试

例 ETL 数据移动图表

ETL 数据移动图表会显示以下指标:

Amazon Glue 控制台的 Metrics (指标) 选项卡中显示 ETL 数据移动的图表。
例 内存配置文件图表

内存配置文件图表会显示以下指标:

Amazon Glue 控制台的 Metrics (指标) 选项卡中显示内存配置文件的图表。
例 执行程序之间的数据随机排序图表

执行程序之间的数据随机排序图表显示了以下指标:

Amazon Glue 控制台的 Metrics (指标) 选项卡中显示执行程序之间的数据随机排序图表。
例 CPU 负载图表

CPU 负载图表显示以下指标:

Amazon Glue 控制台的 Metrics (指标) 选项卡中显示 CPU 负载的图表。
例 作业执行图表

作业执行图表显示以下指标:

Amazon Glue 控制台的 Metrics (指标) 选项卡中显示任务执行的图表。