Debugger 内置探查器规则列表

使用 Amazon Debugger 提供的 SageMaker 调试器内置分析器规则，分析在训练模型时收集的指标。Debugger 内置规则监控对成功运行高性能的训练作业至关重要的各种常见条件。您可以使用 Amaz SageMaker on Python 软件开发工具包或低级 SageMaker API 操作调用内置的分析器规则。使用内置规则不会产生额外费用。有关账单的更多信息，请参阅 Amazon SageMaker 定价页面。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

探查器规则

以下规则是可使用 ProfilerRule.sagemaker 类方法调用的 Debugger 内置规则。

使用内置规则及默认参数值 – 使用以下配置格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_1()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_2()),
    ...
    ProfilerRule.sagemaker(rule_configs.BuiltInRuleName_n())
]

使用内置规则及自定义参数值 – 使用以下配置格式：

from sagemaker.debugger import Rule, ProfilerRule, rule_configs

rules = [
    ProfilerRule.sagemaker(
        base_config=rule_configs.BuiltInRuleName(),
        rule_parameters={
                "key": "value"
        }
    )
]

要查找 rule_parameters 参数的可用键，请参阅参数描述表。

针对每个内置规则，参数描述表下方提供了示例规则配置代码。

ProfilerReport

该 ProfilerReport 规则调用所有用于监控和分析的内置规则。它会创建分析报告，并在触发单个规则时进行更新。您可以在训练作业运行期间或训练作业完成后，下载综合分析报告。您可以调整规则参数值以自定义内置监控和分析规则的敏感度。以下示例代码显示了通过规则调整内置规则参数的基本格式。 ProfilerReport

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            <BuiltInRuleName>_<parameter_name> = value
        )
    )  
]

如果您在没有任何自定义参数的情况下触发此 ProfilerReport 规则，如以下示例代码所示，则该 ProfilerReport 规则将使用其默认参数值触发所有用于监控和分析的内置规则。

rules=[ProfilerRule.sagemaker(rule_configs.ProfilerReport())]

以下示例代码显示了如何指定和调整 CPUBottleneck 规则的 cpu_threshold 参数以及 IOBottleneck 规则的 threshold 参数。

rules=[
    ProfilerRule.sagemaker(
        rule_configs.ProfilerReport(
            CPUBottleneck_cpu_threshold = 90,
            IOBottleneck_threshold = 90
        )
    )  
]

要浏览概要分析器报告中的内容，请参阅SageMaker 调试器分析报告。此外，由于此规则会激活所有分析规则，因此您还可以使用 SageMaker Studio Experiments 中的SageMaker 调试器用户界面来检查规则分析状态。

BatchSize

该 BatchSize 规则有助于检测 GPU 是否由于批量较小而未得到充分利用。为检测此问题，此规则监控平均 CPU 利用率、GPU 利用率和 GPU 内存利用率。如果 CPU、GPU 和 GPU 内存的利用率平均值偏低，则可能表明训练作业可运行在较小的实例类型上，或者可以使用更大的批次运行。此分析不适用于内存分配严重过量的框架。但是，增加批次大小可能会导致处理或数据加载瓶颈，因为每次迭代都需要更长的数据预处理时间。

CPUBottleneck

CPUBottleneck 规则有助于检测 GPU 是否由于 CPU 瓶颈而未充分利用。如果 CPU 瓶颈数超过预定义的阈值，则规则返回 True。

GPU MemoryIncrease

GPU MemoryIncrease 规则有助于检测 GPU 上内存使用量的大幅增加。

IOBottleneck

此规则有助于检测 GPU 是否由于数据 IO 瓶颈而未充分利用。如果 IO 瓶颈数超过预定义的阈值，则规则返回 True。

LoadBalancing

该 LoadBalancing 规则有助于检测多个 GPU 之间的工作负载平衡问题。

LowGPUUtilization

LowGPUUtilization 规则有助于检测 GPU 利用率是低还是出现了波动。这会检查每个工作线程上的每个 GPU。如果第 95 个分位数低于 threshold_p95，则规则返回 True，表明利用率不足。如果第 95 个分位数高于 threshold_p95 且第 5 个分位数低于 threshold_p5，则规则返回 True，表示此时的情况为波动。

OverallSystem用法

该 OverallSystemUsage 规则衡量每个工作节点的总体系统使用率。该规则目前仅聚合每个节点的值并计算其百分位数。

MaxInitialization时间

该 MaxInitializationTime 规则有助于检测训练初始化是否花费了太多时间。规则会等待直至第一个步骤可用。

OverallFramework指标

该 OverallFrameworkMetrics 规则汇总了在框架指标上花费的时间，例如向前和向后传递以及数据加载。

StepOutlier

该 StepOutlier 规则有助于检测步进持续时间内的异常值。如果在某个时间范围内，步骤持续时间的异常值大于整个步骤持续时间的 stddev sigma，则此规则返回 True。