调试器示例笔记本 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

调试器示例笔记本

SageMaker aws/ amazon-sagemaker-examples 存储库中提供了@@ 调试器示例笔记本。Debugger 示例笔记本将引导您完成调试和分析训练作业的基本到高级使用场景。

我们建议您在 SageMaker Studio 或笔记本实例上运行示例 SageMaker 笔记本,因为大多数示例都是为 SageMaker 生态系统中的训练作业而设计的,包括亚马逊EC2、Amazon S3 和 Amaz SageMaker on Python SDK。

要将示例存储库克隆到 SageMaker Studio,请按照 Amazon SageMaker Studio Tour 中的说明进行操作。

要在 SageMaker 笔记本实例中查找示例,请按照SageMaker 笔记本实例示例笔记本中的说明进行操作。

重要

要使用新的调试器功能,您需要升级 SageMaker Python SDK 和SMDebug客户端库。在您的 iPython 内核、Jupyter Notebook 或 JupyterLab环境中,运行以下代码来安装最新版本的库并重新启动内核。

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

用于分析训练作业的调试器示例笔记本

以下列表显示了 Debugger 示例笔记本,其中介绍了 Debugger 的调整功能,用于监控并分析各种机器学习模型、数据集和框架的训练作业。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试器分析数据分析

TensorFlow

Keras 50 ResNet

Cifar-10

本笔记本介绍了 Deb SageMaker ugger 捕获的分析数据的交互式分析。探索 SMDebug 交互式分析工具的全部功能。

使用 Amazon D SageMaker ebugger 分析机器学习训练

TensorFlow

1-D 卷积神经网络

IMDB数据集

对由标记CNN为正面或负面情绪的电影评论组成的IMDB数据进行 TensorFlow 一维分析。浏览 Studio Debugger Insights 和 Debugger 分析报告。

使用各种分布式训练设置分析 TensorFlow ResNet 模型训练

TensorFlow

ResNet50 Cifar-10

使用各种分布式 TensorFlow 训练设置运行训练作业,监控系统资源利用率,并使用调试器分析模型性能。

使用各种分布式训练设置分析 PyTorch ResNet 模型训练

PyTorch

ResNet50

Cifar-10

使用各种分布式 PyTorch 训练设置运行训练作业,监控系统资源利用率,并使用调试器分析模型性能。

用于分析模型参数的调试器示例笔记本

以下列表用于展示 Debugger 示例笔记本,介绍了 Debugger 的调整功能,用于调试各种机器学习模型、数据集和框架的训练作业。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试器-使用内置规则

TensorFlow

卷积神经网络

MNIST

使用 Amazon SageMaker 调试器内置规则来调试 TensorFlow模型。

亚马逊 SageMaker 调试器-Tensorflow 2.1

TensorFlow

ResNet50

Cifar-10

使用 Amazon SageMaker Debugger 挂钩配置和内置规则,使用 Tensorflow 2.1 框架调试模型。

可视化训练的调试张量 MXNet

MXNet

Gluon 卷积神经网络

时尚 MNIST

运行训练作业并配置 SageMaker Debugger 以存储此作业中的所有张量,然后在笔记本中可视化这些张量。

使用 Amazon SageMaker 调试器启用 Spot 训练

MXNet

Gluon 卷积神经网络

时尚 MNIST

了解 Debugger 如何从在竞价型实例上训练的作业中收集张量数据,以及如何使用 Debugger 内置规则进行托管式竞价型实例训练。

解释使用 Amazon D SageMaker ebugger 预测个人收入的XGBoost模型 XGBoost

XGBoost回归

成人普查数据集

学习如何使用 Debugger 挂钩和内置规则从XGBoost回归模型中收集和可视化张量数据,例如损失值、特征和值。SHAP

要查找模型参数和使用场景的高级可视化对象,请参阅下个主题 调试器高级演示和可视化