使用经 EMRFS S3 优化的提交协议
经 EMRFS S3 优化的提交协议是一种 FileCommitProtocol
请注意,经 EMRFS S3 优化的提交程序也可以通过避免重命名操作来提高性能。但是,它不适用于动态分区覆盖情况,同时提交协议的改进仅针对动态分区覆盖情况。
提交协议适用于 Amazon EMR 发行版 5.30.0 及更高版本,在 Amazon EMR 6.2.0 及更高版本中将默认启用。从发行版 5.31.0 开始,Amazon EMR 增加了并行性改进。协议用于使用 Spark、DataFrames 或 Datasets 的 Spark 作业。在某些情况下,不使用提交协议。有关更多信息,请参阅 经 EMRFS S3 优化的提交协议的要求。