拒绝列出的节点 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

拒绝列出的节点

该 NodeManager 守护程序负责启动和管理核心节点和任务节点上的容器。容器由 NodeManager 在主节点上运行的 ResourceManager 守护程序分配给守护程序。通过心跳 ResourceManager 监视 NodeManager 节点。

在以下几种情况下, ResourceManager 守护程序拒绝会列出 a NodeManager,将其从可用于处理任务的节点池中删除:

  • 如果在 NodeManager 过去 10 分钟(600,000 毫秒)内没有向 ResourceManager 守护程序发送心跳。可以使用 yarn.nm.liveness-monitor.expiry-interval-ms 配置设置来配置此时间段。有关更改 Yarn 配置设置的更多信息,请参阅《Amazon EMR 版本指南》中的配置应用程序

  • NodeManager 检查由yarn.nodemanager.local-dirs和确定的磁盘的运行状况yarn.nodemanager.log-dirs。该检查包括权限和可用磁盘空间 (< 90%)。如果某个磁盘未通过检查,则 NodeManager 会停止使用该特定磁盘,但仍会将节点状态报告为运行正常。如果有多个磁盘未通过检查,则该节点将被报告为运行状况不佳, ResourceManager 并且不会为该节点分配新的容器。

如果 NodeManager 某个节点的失败任务超过三个,则应用程序主服务器也可以拒绝列出该节点。您可以使用 mapreduce.job.maxtaskfailures.per.tracker 配置参数将此值更改为更高的值。您可以更改的其它配置设置可控制将任务标记为失败之前的尝试次数:用于映射任务的 mapreduce.map.max.attempts 和用于缩减任务的 mapreduce.reduce.maxattempts。有关更改配置设置的更多信息,请参阅《Amazon EMR 版本指南》中的配置应用程序