Job 优化注意事项 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Job 优化注意事项

在任务被提交或中止之前,经 EMRFS S3 优化的提交程序会占用少量内存来存放任务尝试写入的每个文件。在大多数作业中,占用的内存量可以忽略不计。对于包含写入大量文件的长期任务的作业,提交程序占用的内存可能很大,需要调整为 Spark 执行程序分配的内存。您可以使用 spark.executor.memory 属性调整执行程序内存。作为指导,编写 100000 个文件的单个任务通常需要额外的 100 MB 内存。有关更多信息,请参阅 。应用程序属性在 Apache Spark 文档中。