本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
HDFS 空间不足错误
如果您尝试移除核心节点,可能会出现 Hadoop 分布式文件系统 (HDFS) 空间不足错误,但由于 HDFS 中剩余的空间不足,Amazon EMR 无法安全地完成操作。在 Amazon EMR 移除核心节点之前,必须将该节点上的所有 HDFS 数据传输到其他核心节点,以确保数据冗余。但是,如果其他核心节点上没有足够的空间用于复制,Amazon EMR 就无法优雅地停用该节点。
可能的原因
有关 HDFS 空间不足错误的可能原因列表,请参阅以下内容:
-
如果您在缩小规模之前在其余节点上没有足够的 HDFS 空间用于数据复制时手动缩减核心实例组或实例队列。
-
当没有足够的 HDFS 空间用于数据复制时,托管扩展或自动扩展会缩减核心实例组或实例队列。
-
Amazon EMR 尝试替换运行状况不佳的核心节点,但由于 HDFS 空间不足,无法安全地更换该节点。
解决方案和最佳实践
有关解决方案和最佳实践,请参阅以下内容:
-
扩大 Amazon EMR 集群中的核心节点数量。如果您使用托管扩展或自动扩展,请增加核心节点的最小容量。
-
创建 EMR 集群时,请为核心节点使用更大的 EBS 卷。
-
删除 EMR 集群中不需要的 HDFS 数据。我们建议您设置 CloudWatch 警报以监控集群中的
HDFSUtilization
指标,以了解您的 EMR 集群空间是否不足。