Slurm多队列模式指南

• 处于某种POWER_SAVING状态的节点将以~后缀（例如idle~）显示在sinfo。在此状态下，没有 EC2 实例支持该节点。但是，仍然Slurm可以将任务分配给节点。

• 过渡到POWER_UP状态的节点将出现，其#后缀为（例如idle#）sinfo。当向POWER_UP处于状态的节点Slurm分配任务时，节点会自动转换为POWER_SAVING状态。

  或者，您可以使用以下命令以su根用户身份将节点手动转换为POWER_UP状态：

  $ scontrol update nodename=nodename state=power_up

  在此阶段，调ResumeProgram用，启动和配置 EC2 实例，节点过渡到POWER_UP状态。

• 当前可供使用的节点中出现没有后缀（例如idle）sinfo。设置好节点并加入集群后，它就可以运行任务了。在此阶段，节点已正确配置并准备好使用。

  一般而言，我们建议 EC2 实例的数量与可用节点的数量相同。在大多数情况下，静态节点在创建集群后可用。

• 将出现@@ 一个正在过渡到POWER_DOWN状态的节点，其%后缀为（例如idle%）sinfo。动态节点在之后自动进入POWER_DOWN状态ScaledownIdletime。相比之下，在大多数情况下，静态节点不会关闭电源。但是，您可以使用以下命令以su根用户身份手动将节点置于POWER_DOWN状态：

  $ scontrol update nodename=nodename state=down reason="manual draining"

  在此状态下，与节点关联的实例被终止，该节点被设置回该POWER_SAVING状态并在之后可供使用ScaledownIdletime。

  该ScaledownIdletime设置将保存到Slurm配置SuspendTimeout设置中。

• 将显示@@ 一个脱机节点，其*后缀为（例如down*）sinfo。如果Slurm控制器无法联系该节点，或者如果禁用了静态节点并终止了后备实例，则该节点将脱机。

• 实例类型（例如c5.xlarge）

• 节点类型（这是dynamic或static。）

• UP：表示分区处于活动状态。这是分区的默认状态。在此状态下，分区中的所有节点都处于活动状态并可供使用。

• INACTIVE：表示分区处于非活动状态。在此状态下，非活动分区的所有后备节点实例都将终止。不会为非活动分区中的节点启动新实例。

• 停止计算舰队-执行以下命令时，所有分区都将转换为INACTIVE状态，Amazon ParallelCluster进程将分区保持INACTIVE状态。

  $ pcluster update-compute-fleet --cluster-name testSlurm \
     --region eu-west-1 --status STOP_REQUESTED

• 启动计算舰队-当执行以下命令时，所有分区最初都会过渡到该UP状态。但是，Amazon ParallelCluster进程不会使分区保持UP状态。你需要手动更改分区状态。所有静态节点将在几分钟后可用。请注意，将分区设置为UP不会增加任何动态容量。

  $ pcluster update-compute-fleet --cluster-name testSlurm \
     --region eu-west-1 --status START_REQUESTED

• STOP_REQUESTED：停止计算队列请求已发送到集群。

• STOPPING：该pcluster进程当前正在停止计算队列。

• STOPPED：该pcluster进程完成了停止过程，所有分区都处于INACTIVE状态，所有计算实例都已终止。

• START_REQUESTED：启动计算队列请求已发送到集群。

• STARTING：该pcluster进程当前正在启动集群。

• RUNNING：该pcluster过程完成了启动过程，所有分区都处于UP状态，静态节点在几分钟后可用。

• PROTECTED：此状态表明某些分区存在持续的引导失败。受影响的分区处于非活动状态。请调查问题然后运行update-compute-fleet以重新启用舰队。

• 在POWER_SAVING状态下打开动态节点的电源

  su以 root 用户身份运行该命令：

  $ scontrol update nodename=nodename state=power_up

  您也可以提交占位sleep 1任务，请求一定数量的节点，然后依靠它Slurm来启动所需数量的节点。

• 之前关闭动态节点的电源 ScaledownIdletime

  我们建议您使用以下命令将动态节点设置DOWN为su root 用户：

  $ scontrol update nodename=nodename state=down reason="manually draining"

  Amazon ParallelCluster自动终止并重置已关闭的动态节点。

  一般情况下，我们建议您不要使用scontrol update nodename=nodename state=power_down命令POWER_DOWN直接将节点设置为节点。这是因为Amazon ParallelCluster会自动处理断电过程。

• 禁用队列（分区）或停止特定分区中的所有静态节点

  使用以下命令将特定队列设置INACTIVE为su root 用户：

  $ scontrol update partition=queuename state=inactive

  这样做会终止分区中所有支持节点的实例。

• 启用队列（分区）

  使用以下命令UP为su根用户设置特定队列：

  $ scontrol update partition=queuename state=up

以下是正常扩展工作流程示例：

• 调度器收到需要两个节点的任务。

• 调度器将两个节点转换为一种POWER_UP状态，并使用节点名称ResumeProgram进行调用（例如queue1-dy-spotcompute1-[1-2]）。

• ResumeProgram启动两个 EC2 实例并分配的私有 IP 地址和主机名queue1-dy-spotcompute1-[1-2]，等待ResumeTimeout（默认时间为 30 分钟），然后重置节点。

• 实例已配置好并加入集群。作业开始在实例上运行。

• 任务完成并停止运行。

• 配置结束SuspendTime后（设置为 ScaledownIdletime），调度程序将实例设置为POWER_SAVING状态。然后，调度程序设置queue1-dy-spotcompute1-[1-2]为POWER_DOWN状态并使用节点名称SuspendProgram进行调用。

• SuspendProgram为两个节点调用。节点保持POWER_DOWN状态，例如，通过保持 aSuspendTimeout（默认时间为 120 秒（2 分钟））。idle%clustermgtd检测到节点正在关闭电源后，它会终止后备实例。然后，它会过渡queue1-dy-spotcompute1-[1-2]到空闲状态并重置私有 IP 地址和主机名，以便为future 工作做好开机准备。

如果出现问题并且由于某种原因无法启动特定节点的实例，则会发生以下情况：

• 调度器收到需要两个节点的任务。

• 调度器将两个云突发节点转换为POWER_UP状态，并ResumeProgram使用节点名进行调用（例如queue1-dy-spotcompute1-[1-2]）。

• ResumeProgram仅启动一 (1) 个 EC2 实例并进行配置queue1-dy-spotcompute1-1，其中一 (1) 个实例无法启动。queue1-dy-spotcompute1-2

• queue1-dy-spotcompute1-1不受影响，到达该POWER_UP州后上线。

• queue1-dy-spotcompute1-2过渡到POWER_DOWN状态，并且由于Slurm检测到节点故障，作业会自动重新排队。

• queue1-dy-spotcompute1-2之后变为可用SuspendTimeout（默认值为 120 秒（2 分钟））。同时，作业被重新排队，可以开始在另一个节点上运行。

• 重复上述过程，直到作业可以在可用节点上运行而不会出现故障。

如果需要，可以调整两个定时参数：

• ResumeTimeout（默认值为 30 分钟）：ResumeTimeout控制将节点过渡到关闭状态之前的Slurm等待时间。

  • ResumeTimeout如果你的安装前/安装后过程需要差不多那么长时间，那么扩展可能会很有用。

  • ResumeTimeout也是出现问题时在替换或重置节点之前Amazon ParallelCluster等待的最长时间。如果在启动或设置期间发生任何错误，计算节点会自行终止。 Amazon ParallelCluster进程在检测到已终止的实例时替换节点。

• SuspendTimeout（默认值为 120 秒（2 分钟））：SuspendTimeout控制节点重新放置到系统中并准备好再次使用的速度。

  • 更短SuspendTimeout意味着重置节点的速度更快，并且Slurm可以尝试更频繁地启动实例。

  • 时间越长SuspendTimeout意味着重置失效节点的速度越慢。同时，Slurm尝试使用其他节点。如果超过几分钟，SuspendTimeout则Slurm尝试循环遍历系统中的所有节点。对于大型系统（超过 1,000 个节点）来说，更长的时间SuspendTimeout可能有助于减轻它在尝试频繁重新排队失败的作业Slurm时的stress。

  • 请注意，SuspendTimeout这并不是指Amazon ParallelCluster等待终止节点的后备实例的时间。POWER_DOWN节点的后备实例将立即终止。终止过程通常在几分钟内完成。但是，在这段时间内，节点保持POWER_DOWN状态，无法供调度程序使用。

• ResumeProgram: /var/log/parallelcluster/slurm_resume.log (slurm_resume)

• SuspendProgram: /var/log/parallelcluster/slurm_suspend.log (slurm_suspend)

• clustermgtd: /var/log/parallelcluster/clustermgtd.log (clustermgtd)

• computemgtd: /var/log/parallelcluster/computemgtd.log (computemgtd)

• slurmctld: /var/log/slurmctld.log (slurmctld)

• slurmd: /var/log/slurmd.log (slurmd)

• 动态节点：

  • 检查ResumeProgram日志以查看节点是否ResumeProgram调用了该日志。如果不是，请检查slurmctld日志以确定是否Slurm尝试调ResumeProgram用该节点。请注意，权限不正确ResumeProgram可能会导致它以静默方式失败。

  • 如果调ResumeProgram用，请检查是否为该节点启动了实例。如果实例未启动，则应显示明确的错误消息，说明实例无法启动的原因。

  • 如果启动了实例，则在引导过程中可能会出现一些问题。从ResumeProgram日志中找到相应的私有 IP 地址和实例 ID，然后在日志中查看特定实例的相应引导 CloudWatch 日志。

• 静态节点：

  • 检查日clustermgtd志，查看是否为该节点启动了实例。如果实例未启动，则应该有关于实例无法启动的原因的明显错误。

  • 如果启动了实例，则引导过程存在一些问题。从clustermgtd日志中找到相应的私有 IP 和实例 ID，然后在日志中查看特定实例的相应引导 CloudWatch 日志。

• 节点意外被替换/终止：

  • 在大多数情况下，clustermgtd处理所有节点维护操作。要检查节点是clustermgtd替换还是终止，请检查日clustermgtd志。

  • 如果clustermgtd替换或终止了节点，则应显示一条消息，指明操作的原因。如果原因与调度程序相关（例如，节点是DOWN），请查看slurmctld日志以了解更多详细信息。如果原因与 EC2 相关，请使用 Amazon CloudWatch 或Amazon EC2 控制台、CLI 或 SDK 等工具来检查该实例的状态或日志。例如，您可以检查实例是否有预定事件或 EC2 运行状况检查失败。

  • 如果clustermgtd没有终止节点，请检查是否computemgtd终止了该节点，或者 EC2 是否终止了该实例以收回竞价型实例。

• 节点故障：

  • 在大多数情况下，如果节点出现故障，作业会自动重新排队。查看slurmctld日志以了解任务或节点失败的原因，然后从那里评估情况。

• 通常，会clustermgtd处理所有预期的实例终止操作。查看clustermgtd日志，看看为什么它未能替换或终止节点。

• 对于动态节点失败 ScaledownIdletime，请查看SuspendProgram日志以查看slurmctld进程是否使用特定节点作为参数进行调用。Note 实际上SuspendProgram并未执行任何特定操作。相反，它只在被调用时记录。所有实例终止和NodeAddr重置均由完成clustermgtd。 Slurm将节点过渡到IDLE之后SuspendTimeout。

• Amazon ParallelCluster不做出工作分配或扩大规模的决定。它仅尝试根据指示启动、终止和维护资源。Slurm

  有关任务分配、节点分配和扩展决策的问题，请查看slurmctld日志中是否存在错误。