排查扩展问题

• /var/log/cfn-init.log- Amazon CloudFormation 这是初始化日志。其中包含设置实例时运行的所有命令。可以用它来排查初始化问题。

• /var/log/chef-client.log：这是 Chef 客户端日志。其中包含通过 Chef/CINC 运行的所有命令。可以用它来排查初始化问题。

• /var/log/parallelcluster/slurm_resume.log：这是 ResumeProgram 日志。它启动动态节点的实例。可以用它来排查动态节点启动问题。

• /var/log/parallelcluster/slurm_suspend.log：这是 SuspendProgram 日志。在终止动态节点的实例时会调用该日志。可以用它来排查动态节点终止问题。查看此日志时，还应检查 clustermgtd 日志。

• /var/log/parallelcluster/clustermgtd：这是 clustermgtd 日志。它作为集中式进程守护程序运行，用于管理大多数集群操作。可以用它来排查任何启动、终止或集群操作问题。

• /var/log/slurmctld.log-这是 Slurm 控制守护程序日志。 Amazon ParallelCluster 不会做出扩展决策。相反，它只是尝试启动资源来满足 Slurm 要求。它可用于排查扩展和分配问题、与作业相关的问题以及与调度器相关的任何启动和终止问题。

• /var/log/parallelcluster/compute_console_output：此日志记录意外终止的静态计算节点样本子集的控制台输出。如果静态计算节点终止并且计算节点日志在中不可用，则使用此日志 CloudWatch。当您使用 Amazon EC2 控制台或检索实例控制台输出时 Amazon CLI ，您收到的compute_console_output log内容是相同的。

• /var/log/cloud-init-output.log：这是 cloud-init 日志。其中包含设置实例时运行的所有命令。可以用它来排查初始化问题。

• /var/log/parallelcluster/computemgtd：这是 computemgtd 日志。它在每个计算节点上运行，用于在头节点上的 clustermgtd 进程守护程序离线的不常见事件中监控节点。可以用它来排查意外终止问题。

• /var/log/slurmd.log-这是 Slurm 计算守护程序日志。可以用它来排查初始化和计算失败问题。

根据您的用例，请考虑使用以下方法之一来避免收到这些类型的错误消息：

• 如果启用了置放群组，则将其禁用。有关更多信息，请参阅 置放群组和实例启动问题。

• 为实例预留容量并使用 ODCR（按需容量预留）启动这些实例。有关更多信息，请参阅 使用按需容量预留（ODCR）启动实例。

• 配置多个具有不同实例类型的计算资源。如果您的工作负载不需要特定的实例类型，则可以对多个计算资源利用快速容量不足故障转移。有关更多信息，请参阅 Slurm 集群快速容量不足故障转移。

• 在同一个计算资源中配置多种实例类型，并利用多实例类型分配。有关配置多个实例的更多信息，请参阅 Slurm 的多实例类型分配和 Scheduling/SlurmQueues/ComputeResources/Instances。

• 通过在集群配置 Scheduling/SlurmQueues/Networking/SubnetIds 中更改子网 ID，将队列移动到不同的可用区。

• 如果您的工作负载没有紧密耦合，则将队列分散到不同的可用区。有关配置多个子网的更多信息，请参阅 Scheduling/SlurmQueues/Networking/SubnetIds。

• /var/log/cfn-init.log

• /var/log/chef-client.log

• /var/log/parallelcluster/clustermgtd

• /var/log/parallelcluster/slurm_resume.log

• /var/log/slurmctld.log

• 适用日志：

  • /var/log/cloud-init-output.log

  • /var/log/slurmd.log

• 如果启动了计算节点，请先检查 /var/log/cloud-init-output.log，其中应包含类似于头节点 /var/log/chef-client.log 日志的设置日志。设置过程中发生的大多数错误的错误消息应该都包含在 /var/log/cloud-init-output.log 日志中。如果在集群配置中指定了预安装或安装后脚本，请检查它们是否成功运行。

• 如果您使用的是经过修改的自定义 AMI Slurm 配置，那么可能有一个 Slurm导致计算节点无法加入集群的相关错误。对于与调度器相关的错误，请检查 /var/log/slurmd.log 日志。

• 搜索计算节点名称的 ResumeProgram 日志 (/var/log/parallelcluster/slurm_resume.log) 以查看是否对该节点调用过 ResumeProgram。（如果ResumeProgram从未被调用，则可以查看slurmctld日志 (/var/log/slurmctld.log) 以确定是否 Slurm 曾经尝试ResumeProgram与该节点通话）。

• 请注意，ResumeProgram 的权限不正确可能会导致 ResumeProgram 静默失败。如果您使用的是修改了 ResumeProgram 设置的自定义 AMI，请检查该 ResumeProgram 是否由 slurm 用户拥有并具有 744 (rwxr--r--) 权限。

• 如果调用了 ResumeProgram，请查看是否为该节点启动了实例。如果未启动任何实例，则会看到一条描述启动失败的错误消息。

• 如果启动了实例，则在设置过程中可能出现了问题。您应该会从 ResumeProgram 日志中看到相应的私有 IP 地址和实例 ID。此外，您可以查看特定实例的相应设置日志。有关排查计算节点设置错误的更多信息，请参阅下一节。

• 检查 clustermgtd (/var/log/parallelcluster/clustermgtd) 日志，查看是否为该节点启动了实例。如果未启动，则应该有详细说明启动失败的明确错误消息。

• 如果启动了实例，则表示设置过程中出现了问题。您应该会从 ResumeProgram 日志中看到相应的私有 IP 地址和实例 ID。此外，您可以查看特定实例的相应设置日志。

• 如果这是您第一次使用竞价型实例，并且作业保持在 PD（待处理状态），请仔细检查 /var/log/parallelcluster/slurm_resume.log 文件。您可能会发现类似下面的错误：

  2022-05-20 13:06:24,796 - [slurm_plugin.common:add_instances_for_nodes] - ERROR - Encountered exception when launching instances for nodes (x1) ['spot-dy-t2micro-2']: An error occurred (AuthFailure.ServiceLinkedRoleCreationNotPermitted) when calling the RunInstances operation: The provided credentials do not have permission to create the service-linked role for Amazon EC2 Spot Instances.

  使用竞价型实例时，您的账户中必须存在 AWSServiceRoleForEC2Spot 服务相关角色。要使用在您的账户中创建此角色 Amazon CLI，请运行以下命令：

  $ aws iam create-service-linked-role --aws-service-name spot.amazonaws.com

  有关更多信息，请参阅 Amazon Amazon ParallelCluster EC2 用户指南使用竞价型实例中的用户指南和竞价型实例请求的服务相关角色。

• 适用日志：

  • /var/log/parallelcluster/clustermgtd（头节点）

  • /var/log/slurmctld.log（头节点）

  • /var/log/parallelcluster/computemgtd（计算节点）

• 检查 clustermgtd 日志 (/var/log/parallelcluster/clustermgtd) 以查看 clustermgtd 是否替换或终止了节点。请注意，clustermgtd 处理所有正常的节点维护操作。

• 如果 clustermgtd 替换或终止了该节点，则应该会有详细说明为何对该节点执行此操作的消息。如果原因与调度器有关（例如，因为节点处于 DOWN 状态），请查看 slurmctld 日志以获取更多信息。如果原因 EC2 与亚马逊有关，则应附上信息性消息，详细说明需要更换的亚马逊 EC2 相关问题。

• 如果clustermgtd没有终止节点，请先检查这是否是 Amazon 的预期终止 EC2 ，更具体地说是即时终止。 computemgtd，在计算节点上运行，如果节点clustermgtd被确定为运行状况不佳，也可以终止节点。检查 computemgtd 日志 (/var/log/parallelcluster/computemgtd) 以查看 computemgtd 是否终止了该节点。

• 检查 slurmctld 日志 (/var/log/slurmctld.log) 以查看作业或节点失败的原因。请注意，如果节点失败，作业会自动重新排队。

• 如果slurm_resume报告该节点已启动，并在几分钟后clustermgtd报告说 Amazon EC2 中没有该节点的相应实例，则该节点可能会在设置过程中失败。要从计算 (/var/log/cloud-init-output.log) 中检索日志，请执行以下步骤：

  • 提交一份待租的职位 Slurm 启动一个新节点。

  • 等待计算节点启动。

  • 修改实例启动的关闭行为，以便停止而不是终止出现故障的计算节点。

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --instance-initiated-shutdown-behavior "{\"Value\": \"stop\"}"

  • 启用终止保护。

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --disable-api-termination

  • 将节点标记为易于识别。

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=Name,Value=QUARANTINED-Compute

  • 通过更改 parallelcluster:cluster-name 标签将节点与集群分离。

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=parallelcluster:clustername,Value=QUARANTINED-ClusterName

  • 使用以下命令从该节点检索控制台输出。

    $ aws ec2 get-console-output --instance-id i-1234567890abcdef0 --output text

• 适用日志：

  • /var/log/parallelcluster/clustermgtd（头节点）

  • /var/log/parallelcluster/slurm_suspend.log（头节点）

• 在大多数情况下，clustermgtd 会处理所有预期的实例终止操作。检查 clustermgtd 日志以查看其无法替换或终止节点的原因。

• 对于 SlurmSettings 属性 失败的动态节点，请检查 SuspendProgram 日志以查看 slurmctld 是否以特定节点作为参数调用了 SuspendProgram。请注意，SuspendProgram 实际上并不执行任何操作，它只是记录被调用时的时间。所有实例终止和 NodeAddr 重置均由 clustermgtd 完成。Slurm 之后SuspendTimeout自动将节点恢复到POWER_SAVING状态。

• 如果计算节点由于引导失败而持续失败，请验证它们是否在启用了 Slurm 集群保护模式的情况下启动。如果未启用受保护模式，请修改受保护模式设置以启用受保护模式。排查并修复引导脚本问题。