使用经 EMRFS S3 优化的提交程序

经 EMRFS S3 优化的提交程序是 OutputCommitter 的一种实施替代项，该程序已针对在使用 EMRFS 时向 Amazon S3 写入文件进行了优化。通过避免在任务处理和任务提交阶段列出并重命名在 Amazon S3 中完成的操作来提高应用程序性能。提交程序适用于 Amazon EMR 发行版 5.19.0 及更高版本，在 Amazon EMR 5.20.0 及更高版本中将默认启用。提交程序用于 Spark 任务，该任务使用 Spark SQL、DataFrame 或 Dataset。从 Amazon EMR 6.4.0 开始，此提交程序可用于所有常见格式，包括 parquet、ORC 和基于文本的格式（包括 CSV 和 JSON）。对于 Amazon EMR 6.4.0 之前的发行版，仅支持 Parquet 格式。在某些情况下，不使用提交程序。有关更多信息，请参阅经 EMRFS S3 优化的提交程序的要求。