Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用 Amazon SageMaker 探查器分析 Amazon 计算资源上的活动

Amazon SageMaker 探查器是 Amazon SageMaker 的一项功能，它详细地说明了在 SageMaker 上训练深度学习模型期间预置的 Amazon 计算资源。它侧重于分析 CPU 和 GPU 使用率、GPU 上的内核运行、CPU 上的内核启动、同步操作、CPU 和 GPU 之间的内存操作、内核启动和相应运行之间的延迟，以及 CPU 和 GPU 之间的数据传输。SageMaker 探查器还提供可视化配置文件的用户界面 (UI)、已分析事件的统计摘要以及用于跟踪和理解 GPU 和 CPU 之间事件的时间关系的训练作业时间表。

对于数据科学家

在大型计算集群上训练深度学习模型通常会遇到计算优化问题，例如瓶颈、内核启动延迟、内存限制和资源利用率低。

要确定此类计算性能问题，您需要更深入地分析计算资源，了解哪些内核会带来延迟，哪些操作会导致瓶颈。数据科学家可以从使用 SageMaker 探查器 UI 来可视化训练作业的详细配置文件中受益。UI 提供了一个带摘要图表的控制面板和一个时间线界面，以便跟踪计算资源上的每个事件。数据科学家还可以使用 SageMaker 探查器 Python 模块来添加自定义注释以跟踪训练作业的特定部分。

对于管理员

如果您是 Amazon 账户或 SageMaker 域的管理员，则可以通过 SageMaker 控制台中的探查器登录页面或 SageMaker 域管理探查器应用程序用户。每个域用户均能使用授予的权限访问其探查器应用程序。作为 SageMaker 域管理员和域用户，您可以使用相应级别的权限创建和删除探查器应用程序。

支持的框架、Amazon Web Services 区域和实例类型

此功能支持以下机器学习框架和 Amazon Web Services 区域。

支持的框架

SageMaker 探查器在以下适用于 SageMaker 的 Amazon 深度学习容器中可用。

PyTorch

TensorFlow

支持 Amazon Web Services 区域

SageMaker 探查器在以下 Amazon Web Services 区域提供。

支持的实例类型

SageMaker 探查器适用于训练工作负载的以下实例类型。

先决条件

以下列表显示了开始使用 SageMaker 探查器的先决条件。

使用 SageMaker 探查器准备和运行训练作业

使用 SageMaker 探查器设置以运行训练作业包括两个步骤：调整训练脚本和配置 SageMaker 训练作业启动器。

步骤 1：使用 SageMaker 探查器 Python 模块调整训练脚本

要在训练作业运行时开始捕获 GPU 上内核运行，请使用 SageMaker 探查器 Python 模块修改训练脚本。导入库并添加 start_profiling() 和 stop_profiling() 方法来定义分析的开始和结束。您还可以使用可选的自定义注释在训练脚本中添加标记，以便可视化每个步骤中的特定操作期间的硬件活动。

请注意，注释器会从 GPU 中提取操作。对于 CPU 中的分析操作，您无需添加任何其他注释。在指定分析配置（您将在步骤 2：创建 SageMaker 框架估算器并激活 SageMaker 探查器中使用此配置）时也将激活 CPU 分析。

方法 1. 使用上下文管理器 smppy.annotate 为所有函数添加注释

您可以通过 smppy.annotate() 上下文管理器包装所有函数。如果您想按函数而不是代码行进行分析，建议使用此包装器。以下示例脚本说明如何实施上下文管理器，以便在每次迭代中包装训练循环和完整函数。

import smppy

SMProf = smppy.SMProfiler.instance()
config = smppy.Config()
config.profiler = {
    "EnableCuda": "1",
}
SMProf.configure(config)
SMProf.start_profiling()

for epoch in range(args.epochs):
    if world_size > 1:
        sampler.set_epoch(epoch)
    tstart = time.perf_counter()
    for i, data in enumerate(trainloader, 0):
        with smppy.annotate("step_"+str(i)):
            inputs, labels = data
            inputs = inputs.to("cuda", non_blocking=True)
            labels = labels.to("cuda", non_blocking=True)
    
            optimizer.zero_grad()
    
            with smppy.annotate("Forward"):
                outputs = net(inputs)
            with smppy.annotate("Loss"):
                loss = criterion(outputs, labels)
            with smppy.annotate("Backward"):
                loss.backward()
            with smppy.annotate("Optimizer"):
                optimizer.step()

SMProf.stop_profiling()

方法 2. 使用 smppy.annotation_begin() 和 smppy.annotation_end() 为函数中的特定代码行添加注释

您还可以定义注释来分析特定的代码行。可以在单个代码行级别而不是按函数来设置分析的确切起始点和结束点。例如，在以下脚本中，step_annotator 会在每次迭代开始时被定义，并在迭代结束时终止。同时，还为每个操作定义了其他详细注释器，并在每次迭代中包装目标操作。

import smppy

SMProf = smppy.SMProfiler.instance()
config = smppy.Config()
config.profiler = {
    "EnableCuda": "1",
}
SMProf.configure(config)
SMProf.start_profiling()

for epoch in range(args.epochs):
    if world_size > 1:
        sampler.set_epoch(epoch)
    tstart = time.perf_counter()
    for i, data in enumerate(trainloader, 0):
        step_annotator = smppy.annotation_begin("step_" + str(i))

        inputs, labels = data
        inputs = inputs.to("cuda", non_blocking=True)
        labels = labels.to("cuda", non_blocking=True)
        optimizer.zero_grad()

        forward_annotator = smppy.annotation_begin("Forward")
        outputs = net(inputs)
        smppy.annotation_end(forward_annotator)

        loss_annotator = smppy.annotation_begin("Loss")
        loss = criterion(outputs, labels)
        smppy.annotation_end(loss_annotator)

        backward_annotator = smppy.annotation_begin("Backward")
        loss.backward()
        smppy.annotation_end(backward_annotator)

        optimizer_annotator = smppy.annotation_begin("Optimizer")
        optimizer.step()
        smppy.annotation_end(optimizer_annotator)

        smppy.annotation_end(step_annotator)

SMProf.stop_profiling()

在注释并设置探查器初始模块后，在接下来的步骤 2 中，使用 SageMaker 训练作业启动器保存脚本以进行提交。示例启动器假定训练脚本已命名为 train_with_profiler_demo.py。

步骤 2：创建 SageMaker 框架估算器并激活 SageMaker 探查器

以下过程说明如何使用 SageMaker Python SDK 准备 SageMaker 框架估算器以进行训练。

在运行训练作业时或作业完成后，您可以转到 打开 SageMaker 探查器 UI 应用程序 上的下一个主题，并开始探究和可视化已保存的配置文件。

如果您想直接访问保存在 Amazon S3 存储桶中的配置文件数据，请使用以下脚本来检索 S3 URI。

import os
# This is an ad-hoc function to get the S3 URI
# to where the profile output data is saved
def get_detailed_profiler_output_uri(estimator):
    config_name = None
    for processing in estimator.profiler_rule_configs:
        params = processing.get("RuleParameters", dict())
        rule = config_name = params.get("rule_to_invoke", "")
        if rule == "DetailedProfilerProcessing":
            config_name = processing.get("RuleConfigurationName")
            break
    return os.path.join(
        estimator.output_path, 
        estimator.latest_training_job.name, 
        "rule-output",
        config_name,
    )

print(
    f"Profiler output S3 bucket: ", 
    get_detailed_profiler_output_uri(estimator)
)

打开 SageMaker 探查器 UI 应用程序

您可以通过 SageMaker 控制台中的 SageMaker 探查器登录页面或通过 SageMaker 域访问 SageMaker 探查器 UI 应用程序。

选项 1：从域详细信息页面启动 SageMaker 探查器 UI

导航到域详细信息页面

以下过程展示如何导航到域详细信息页面。

启动 SageMaker 探查器 UI 应用程序

以下过程说明如何启动作用域为用户配置文件的 SageMaker 探查器应用程序。

选项 2：从 SageMaker 控制台的 SageMaker 探查器登录页面启动 SageMaker 探查器 UI 应用程序

以下过程介绍如何从 SageMaker 探查器登录页面启动 SageMaker 探查器 UI 应用程序。

浏览在 SageMaker 探查器 UI 中可视化的配置文件输出数据

此部分介绍了 SageMaker 探查器 UI，并提供了有关如何使用此 UI 并从中获得洞察的提示。

加载配置文件

在打开 SageMaker 探查器 UI 时，加载配置文件页面将打开。要加载和生成控制面板和时间线，请执行以下过程。

控制面板

加载并选择训练作业后，UI 会打开控制面板页面，此页面默认包含以下面板。

以下屏幕截图显示了 GPU 和 CPU 的活动时间比率以及相对于每个计算节点的时间的平均 GPU 和 CPU 利用率。

以下屏幕截图显示了一个饼图示例，用于比较 GPU 内核的启动次数并测量运行它们所花费的时间。在所有 GPU 内核花费的时间面板和所有 GPU 内核的启动次数面板中，您还可以在输入字段中为 k 指定一个整数，调整要在图中显示的图例数。例如，如果您指定 10，则图将分别显示运行次数和启动次数排名前 10 的内核。

以下屏幕截图显示了步长持续时间直方图的示例，以及内核精度分布、GPU 活动分布和 GPU 内存操作分布的饼图。

时间线界面

要详细了解在 CPU 上调度并在 GPU 上运行的操作和内核级别的计算资源，请使用时间线界面。

您可以使用鼠标、[w, a, s, d] 键或键盘上的四个箭头键在时间线界面中进行放大和缩小以及向左或向右平移。

时间线轨迹采用树形结构，为您提供从主机级别到设备级别的信息。例如，如果您运行的每个 N 实例中都具有八个 GPU，则每个实例的时间线结构将如下所示。

以下几张屏幕截图显示了 ml.p4d.24xlarge 实例上的训练作业运行的配置文件的时间线，每个实例都配有 8 个 NVIDIA A100 Tensor Core GPU。

以下是配置文件的缩小视图，其中列明了十几个步骤，包括 step_232 和 step_233 之间的间歇性数据加载器，用于获取下一个数据批处理。

对于每个 CPU，您可以跟踪 CPU 利用率和性能计数器，例如 "clk_unhalted_ref.tsc" 和 "itlb_misses.miss_causes_a_walk"，它们表示 CPU 上的指令运行。

对于每个 GPU，您可以查看主机时间线和设备时间线。内核启动位于主机时间线上，内核运行位于设备时间线上。如果您已在 GPU 主机时间线的训练脚本中添加了注释（例如向前、向后和优化），则也将看到这些注释。

在时间线视图中，您还可以跟踪内核启动和运行对。这有助于您了解主机 (CPU) 上计划的内核启动如何在相应的 GPU 设备上运行。

以下屏幕截图是上一个屏幕截图中的 step_233 和 step_234 的放大视图。以下屏幕截图中选定的时间线间隔是在 GPU-0 设备上运行的 AllReduce 操作，它是分布式训练中必不可少的通信和同步步骤。在屏幕截图中，请注意，GPU-0 主机中的内核启动会连接到 GPU-0 设备流 1 中的内核运行，用青色箭头表示。

在选择时间线间隔时，UI 的底部窗格中还会显示两个信息选项卡，如上一个屏幕截图中所示。当前选择选项卡显示主机中的选定内核以及已连接的内核启动的详细信息。连接方向始终是从主机 (CPU) 到设备 (GPU)，因为总是会从 CPU 调用每个 GPU 内核。连接选项卡显示选定的内核启动和运行对。您可以选择其中任一项来将其移动到时间线视图的中心。

以下屏幕截图进一步放大了 AllReduce 操作启动和运行对。

信息

在信息中，您可以访问有关已加载的训练作业的信息，例如实例类型、为作业预置的计算资源的 Amazon 资源名称 (ARN)、节点名称和超参数。

设置

默认情况下，SageMaker 探查器 UI 应用程序实例配置为在闲置 2 小时后关闭。在设置中，使用以下设置来调整自动关闭计时器。

注意事项

在 SageMaker 探查器时，请考虑以下几点。