提高 Amazon Glue 性能 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

提高 Amazon Glue 性能

性能优化的基准策略

要提高 Amazon Glue 的性能,建议更新某些与性能相关的 Amazon Glue 参数。准备优化参数时,请遵循以下最佳实践:

  • 应首先确定性能目标,然后再开始确定性能问题。

  • 应首先使用指标来确定问题,然后再尝试更改优化参数。

为确保在优化作业时获得稳定一致的结果,应为优化工作制定基线策略。

性能优化的工作流通常如下:

  1. 确定性能目标。

  2. 衡量指标。

  3. 识别瓶颈。

  4. 减少瓶颈的影响。

  5. 重复第 2-4 步,直到达到预期目标为止。

适合作业类型的微调策略

Spark 作业:遵循《Amazon 规范性指导》中的微调 Amazon Glue for Apache Spark 作业性能的最佳实践指导。

其他作业 – 可以通过调整其他运行时环境中可用的策略来微调 Amazon Glue for Ray 和 Amazon Glue Python shell 作业。