Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

重试逻辑

EMRFS 将尝试针对其元数据中跟踪的对象验证列表一致性,并重试特定次数。默认值为 5。如果超过重试次数,则发起任务会返回错误,除非 fs.s3.consistent.throwExceptionOnInconsistency 设置为 false (此时仅将跟踪的对象记录为不一致)。EMRFS 默认使用指数退避重试策略,但您也可以将它设置为固定策略。用户还可能希望在重试特定一段时间之后继续任务的其余操作,而不是引发异常。可通过将 fs.s3.consistent.throwExceptionOnInconsistency 设置为 false,将 fs.s3.consistent.retryPolicyType 设置为 fixed,将 fs.s3.consistent.retryPeriodSeconds 设置为所需的值,来实现此目的。以下示例创建一个启用了一致性的集群,将记录不一致并设置 10 秒的固定重试间隔:

例 将重试期间设置为固定量

aws emr create-cluster --release-label emr-5.14.0 \ --instance-type m4.large --instance-count 1 \ --emrfs Consistent=true,Args=[fs.s3.consistent.throwExceptionOnInconsistency=false, fs.s3.consistent.retryPolicyType=fixed,fs.s3.consistent.retryPeriodSeconds=10] --ec2-attributes KeyName=myKey

注意

包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

有关更多信息,请参阅 一致视图