提高 Amazon Glue for Apache Spark 作业的性能 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

提高 Amazon Glue for Apache Spark 作业的性能

要提高 Amazon Glue for Spark 的性能,建议更新某些与性能相关的 Amazon Glue 和 Spark 参数。

要详细了解如何通过指标识别瓶颈以及减少其影响的具体策略,请参阅《Amazon 规范性指南》中的 优化 Amazon Glue for Apache Spark 作业性能的最佳实践。本指南介绍了在所有运行时环境中适用于 Apache Spark 的关键主题,例如 Spark 架构和弹性分布式数据集。使用这些主题,本指南将可指导您实施针对性的性能微调策略,例如优化随机排序和并行化任务。

您可以通过配置 Amazon Glue 来显示 Spark UI,从而识别瓶颈。有关更多信息,请参阅 使用 Apache Spark Web UI 监控作业

此外,Amazon Glue 还提供了可能适用于作业所连接的特定数据存储类型的性能功能。有关数据存储性能参数的参考信息请参阅 Amazon Glue for Spark 中适用于 ETL 的连接类型和选项