调试程序示例笔记本 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

调试程序示例笔记本

SageMaker 调试器示例笔记本电脑aws/Amazon SageMaker 示例存储库。调试器示例笔记本将指导您完成调试和分析培训作业的基本到高级使用案例。

我们建议您在 SageMaker Studio 或 SageMaker 笔记本实例上运行示例笔记本电脑,因为大多数示例都是针对 SageMaker 生态系统中的培训作业而设计的,包括 Amazon EC2、Amazon S3 和 Amazon SageMaker Python SDK。

要将示例存储库克隆到 SageMaker Studio,请按照Amazon SageMaker Studio 之旅.

要查找 SageMaker 笔记本实例中的示例,请按照SageMaker 笔记本实例示例笔记本.

重要

要使用新的调试器功能,您需要升级 SageMaker Python SDK 和SMDebug客户端库。在 IPython 内核、Jupyter 笔记本或 JupyterLab 环境中,运行以下代码以安装最新版本的库并重新启动内核。

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

用于分析培训作业的调试器示例笔记本

下面的列表显示了调试器示例笔记本电脑,介绍了调试器在监视和分析各种机器学习模型、数据集和框架的培训作业方面的适应性。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试器分析数据分析

TensorFlow

Keras ResNet50

CiFor10

本笔记本介绍了 SageMaker 调试器捕获的分析数据的交互式分析。了解SMDebug交互式分析工具。

使用 Amazon SageMaker 调试器配置机器学习培训

TensorFlow

1-D 卷积神经网络

IMDB 数据集

分析 TensorFlow 一维 CNN 对 IMDB 数据进行情绪分析,该数据由标记为具有正面或负面情绪的电影评论组成。了解 Studio 调试器见解和调试器分析报告。

使用各种分布式训练设置分析 TensorFlow ResNet 模型训练

TensorFlow

ResNet50 CiFor10

使用各种分布式培训设置运行 TensorFlow 培训作业,监视系统资源利用率和使用调试器配置模型性能。

使用各种分布式训练设置分析 PyTorch ResNet 模型训练

PyTorch

ResNet50

CIFOR

使用各种分布式培训设置运行 PyTorch 培训作业,监视系统资源利用率,并使用调试器配置模型性能。

用于分析模型参数的调试器示例笔记本

下面的列表显示了调试器示例笔记本电脑,介绍了调试器针对各种机器学习模型、数据集和框架调试培训作业的适应性。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试程序-使用内置规则

TensorFlow

卷积神经网络

多国主义

使用亚 Amazon SageMaker 调试器内置规则来调试 TensorFlow 模型。

Amazon SageMaker 调试器-张量流 2.1

TensorFlow

ResNet50

CIFOR

使用 Amazon SageMaker 调试器挂钩配置和内置规则来调试具有 Tensorflow 2.1 框架的模型。

可视化 MXNet 训练的调试张量

MXNet

葡萄糖卷积神经网络

时尚 MNIST

运行培训作业并配置 SageMaker 调试器以存储此作业的所有张量,然后将这些张量可视化为笔记本。

使用 Amazon SageMaker 调试器启用现货培训

MXNet

葡萄糖卷积神经网络

时尚 MNIST

了解调试器如何从竞价型实例上的培训作业中收集张量数据,以及如何将调试器内置规则与托管竞价培训结合使用。

解释使用 Amazon SageMaker 调试器预测个人收入的 XGBoost 模型 XGBoost

XGBoost 回归

成人普查数据集

了解如何使用调试器钩子和内置规则从 XGBoost 回归模型收集和可视化张量数据,例如损失值、特征和 SHAP 值。

要查找模型参数和用例的高级可视化效果,请参阅调试器高级演示和可视化.