本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
调试器示例笔记本
SageMaker aws/ amazon-sagemaker-examples
我们建议您在 SageMaker Studio 或笔记本实例上运行示例 SageMaker 笔记本,因为大多数示例都是为 SageMaker 生态系统中的训练作业而设计的,包括亚马逊EC2、Amazon S3 和 Amaz SageMaker on Python SDK。
要将示例存储库克隆到 SageMaker Studio,请按照 Amazon SageMaker Studio Tour 中的说明进行操作。
要在 SageMaker 笔记本实例中查找示例,请按照SageMaker 笔记本实例示例笔记本中的说明进行操作。
重要
要使用新的调试器功能,您需要升级 SageMaker Python SDK 和SMDebug
客户端库。在您的 iPython 内核、Jupyter Notebook 或 JupyterLab环境中,运行以下代码来安装最新版本的库并重新启动内核。
import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)
用于分析训练作业的调试器示例笔记本
以下列表显示了 Debugger 示例笔记本,其中介绍了 Debugger 的调整功能,用于监控并分析各种机器学习模型、数据集和框架的训练作业。
笔记本标题 | 框架 | 模型 | 数据集 | 描述 |
---|---|---|---|---|
TensorFlow |
Keras 50 ResNet |
Cifar-10 |
本笔记本介绍了 Deb SageMaker ugger 捕获的分析数据的交互式分析。探索 |
|
TensorFlow |
1-D 卷积神经网络 |
IMDB数据集 |
对由标记CNN为正面或负面情绪的电影评论组成的IMDB数据进行 TensorFlow 一维分析。浏览 Studio Debugger Insights 和 Debugger 分析报告。 |
|
TensorFlow |
ResNet50 | Cifar-10 |
使用各种分布式 TensorFlow 训练设置运行训练作业,监控系统资源利用率,并使用调试器分析模型性能。 |
|
PyTorch |
ResNet50 |
Cifar-10 |
使用各种分布式 PyTorch 训练设置运行训练作业,监控系统资源利用率,并使用调试器分析模型性能。 |
用于分析模型参数的调试器示例笔记本
以下列表用于展示 Debugger 示例笔记本,介绍了 Debugger 的调整功能,用于调试各种机器学习模型、数据集和框架的训练作业。
笔记本标题 | 框架 | 模型 | 数据集 | 描述 |
---|---|---|---|---|
TensorFlow |
卷积神经网络 |
MNIST |
使用 Amazon SageMaker 调试器内置规则来调试 TensorFlow模型。 |
|
TensorFlow |
ResNet50 |
Cifar-10 |
使用 Amazon SageMaker Debugger 挂钩配置和内置规则,使用 Tensorflow 2.1 框架调试模型。 |
|
MXNet |
Gluon 卷积神经网络 |
时尚 MNIST |
运行训练作业并配置 SageMaker Debugger 以存储此作业中的所有张量,然后在笔记本中可视化这些张量。 |
|
MXNet |
Gluon 卷积神经网络 |
时尚 MNIST |
了解 Debugger 如何从在竞价型实例上训练的作业中收集张量数据,以及如何使用 Debugger 内置规则进行托管式竞价型实例训练。 |
|
解释使用 Amazon D SageMaker ebugger 预测个人收入的XGBoost模型 |
XGBoost |
XGBoost回归 |
学习如何使用 Debugger 挂钩和内置规则从XGBoost回归模型中收集和可视化张量数据,例如损失值、特征和值。SHAP |
要查找模型参数和使用场景的高级可视化对象,请参阅下个主题 调试器高级演示和可视化。