EMR 可观察性最佳实践 - Amazon EMR
适用于 Apache Spark 应用程序的性能优化工具
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

EMR 可观察性最佳实践

EMR 可观察性包括对 EM Amazon R 集群的全面监控和管理方法。其基础是亚马逊 CloudWatch 作为主要的监控服务，再加上EMR Studio以及Prometheus和Grafana等第三方工具，以提高知名度。在本文档中，我们将探讨集群可观测性的具体方面：

  1. Spark 可观察性 (GitHub) — 关于 Spark 用户界面，亚马逊 EMR 中有三个选项。

  2. Spark 故障排除 (GitHub)-错误解决方案。

  3. EMR 集群监控 (GitHub)-监控集群性能。

  4. EMR 故障排除 (GitHub)-识别、诊断和解决常见的 EMR 集群问题。

  5. 成本优化 (GitHub) — 本节概述了运行经济高效的工作负载的最佳实践。

适用于 Apache Spark 应用程序的性能优化工具

  1. Amazon EMR Advisor 工具分析 Spark 事件日志，为优化 EMR 集群配置、提高性能和降低成本提供量身定制的建议。通过利用历史数据，它可以建议理想的执行器大小和基础架构设置，从而提高资源利用率并提高集群的整体性能。

  2. Amazon CodeGuru Profiler 工具通过收集和分析运行时数据，帮助开发人员识别 Spark 应用程序中的性能瓶颈和效率低下。该工具可与现有 Spark 应用程序无缝集成，只需最少的设置，并通过 Amazon 控制台提供有关 CPU 使用率、内存模式和性能热点的详细见解。