HDFS 空间不足错误 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

HDFS 空间不足错误

如果您尝试移除核心节点,可能会出现 Hadoop 分布式文件系统 (HDFS) 空间不足错误,但由于 HDFS 中剩余的空间不足,Amazon EMR 无法安全地完成操作。在 Amazon EMR 移除核心节点之前,必须将该节点上的所有 HDFS 数据传输到其他核心节点,以确保数据冗余。但是,如果其他核心节点上没有足够的空间用于复制,Amazon EMR 就无法优雅地停用该节点。

可能的原因

有关 HDFS 空间不足错误的可能原因列表,请参阅以下内容:

  • 如果您在缩小规模之前在其余节点上没有足够的 HDFS 空间用于数据复制时手动缩减核心实例组或实例队列。

  • 当没有足够的 HDFS 空间用于数据复制时,托管扩展或自动扩展会缩减核心实例组或实例队列。

  • Amazon EMR 尝试替换运行状况不佳的核心节点,但由于 HDFS 空间不足,无法安全地更换该节点。

解决方案和最佳实践

有关解决方案和最佳实践,请参阅以下内容:

  • 扩大 Amazon EMR 集群中的核心节点数量。如果您使用托管扩展或自动扩展,请增加核心节点的最小容量。

  • 创建 EMR 集群时,请为核心节点使用更大的 EBS 卷。

  • 删除 EMR 集群中不需要的 HDFS 数据。我们建议您设置 CloudWatch 警报以监控集群中的HDFSUtilization指标,以了解您的 EMR 集群空间是否不足。