监控 Amazon Glue
监控是保持 Amazon Glue 和您的其他 Amazon 解决方案的可靠性、可用性和性能的重要方面。Amazon 提供了一些监控工具,您可以用来监控 Amazon Glue、在出现错误时进行报告并适时自动采取措施:
您可以使用以下自动化监控工具来监控 Amazon Glue 并在出现错误时报告:
-
Amazon CloudWatch Events 提供几乎实时的系统事件流,这些事件描述 Amazon 资源的更改。CloudWatch Events 支持自动事件驱动型计算。您可以编写规则,以监控某些事件和在这些事件发生时在其他 Amazon 服务中触发自动操作。有关更多信息,请参阅 Amazon CloudWatch Events 用户指南。
-
Amazon CloudWatch Logs 使您能够监控、存储和访问来自 Amazon EC2 实例、Amazon CloudTrail 和其他来源的日志文件。CloudWatch Logs 可以监控日志文件中的信息,并在达到特定阈值时通知您。您还可以在高持久性存储中检索您的日志数据。有关更多信息,请参阅 Amazon CloudWatch Logs 用户指南。
-
Amazon CloudTrail 捕获由您的 Amazon 账户或代表该账户发出的 API 调用和相关事件,并将日志文件传输到您指定的 Amazon S3 存储桶。您可以标识哪些用户和账户调用了 Amazon、从中发出调用的源 IP 地址以及调用的发生时间。有关更多信息,请参阅《Amazon CloudTrail 用户指南》。
此外,您还可以访问 Amazon Glue 控制台中的以下见解,以帮助您调试和分析任务:
Spark 任务 – 您可以查看所选 CloudWatch 指标系列的可视化效果,而较新的任务可以访问 Spark UI。有关更多信息,请参阅 监控 Amazon Glue Spark 作业。
Ray 任务 – 您可以查看所选 CloudWatch 指标系列的可视化效果。有关更多信息,请参阅 使用指标监控 Ray 作业。