本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
EMR 可观察性最佳实践
EMR 可观察性包括对 EM Amazon R 集群的全面监控和管理方法。其基础是亚马逊 CloudWatch 作为主要的监控服务,再加上EMR Studio以及Prometheus和Grafana等第三方工具,以提高知名度。在本文档中,我们将探讨集群可观测性的具体方面:
-
Spark 可观察性
(GitHub) — 关于 Spark 用户界面,亚马逊 EMR 中有三个选项。 -
Spark 故障排除
(GitHub)-错误解决方案。 -
EMR 集群监控
(GitHub)-监控集群性能。 -
EMR 故障排除
(GitHub)-识别、诊断和解决常见的 EMR 集群问题。 -
成本优化
(GitHub) — 本节概述了运行经济高效的工作负载的最佳实践。
适用于 Apache Spark 应用程序的性能优化工具
-
Amazon EMR Advisor
工具分析 Spark 事件日志,为优化 EMR 集群配置、提高性能和降低成本提供量身定制的建议。通过利用历史数据,它可以建议理想的执行器大小和基础架构设置,从而提高资源利用率并提高集群的整体性能。 -
Amazon CodeGuru Profiler
工具通过收集和分析运行时数据,帮助开发人员识别 Spark 应用程序中的性能瓶颈和效率低下。该工具可与现有 Spark 应用程序无缝集成,只需最少的设置,并通过 Amazon 控制台提供有关 CPU 使用率、内存模式和性能热点的详细见解。