调试程序 示例笔记本 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

调试程序 示例笔记本

SageMaker 调试程序 示例笔记本在 aws/amazon-sagemaker-examples 存储库中提供。调试程序 示例笔记本将引导您了解调试和分析训练作业的基本使用案例。

建议在 SageMaker Studio 或SageMaker笔记本实例上运行示例笔记本,因为大多数示例设计用于SageMaker生态系统中的训练作业,包括 Amazon EC2、 Amazon S3和 Amazon SageMaker Python 开发工具包。

要将示例存储库克隆到 SageMaker Studio,请按照 Amazon SageMaker Studio 教程中的说明操作。

要查找SageMaker笔记本实例中的示例,请按照SageMaker笔记本实例示例笔记本中的说明操作。

重要

要使用调试程序新功能,您需要升级 SageMaker Python 开发工具包和 SMDebug 客户端库。在您的 iPython 内核、Jupyter 笔记本或 JupyterLab 环境中,运行以下代码以安装最新版本的库并重新启动内核。

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

调试程序 用于分析训练作业的示例笔记本

以下列表显示了介绍 的可适应性调试程序的示例笔记本调试程序,以监控和分析各种机器学习模型、数据集和框架的训练作业。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试程序 数据分析分析

TensorFlow

Keras ResNet50

Cifar-10

此笔记本提供了对由 捕获的分析数据的交互式分析简介SageMaker调试程序。探索 SMDebug 交互式分析工具的完整功能。

使用 分析机器学习训练 Amazon SageMaker 调试程序

TensorFlow

1-D 卷积神经网络

IMDB 数据集

分析 TensorFlow 1-D CNN,用于对包含标记为具有正面或负面情绪的电影评论的 IMDB 数据进行情绪分析。探索 Studio 调试程序 见解和分析调试程序报告。

使用各种分布式训练设置分析 TensorFlow ResNet 模型训练

TensorFlow

ResNet50 Cifar-10

使用 运行具有各种分布式训练设置的 TensorFlow 训练作业,监控系统资源利用率并分析模型性能调试程序。

使用各种分布式训练设置分析 PyTorch ResNet 模型训练

PyTorch

ResNet50

Cifar-10

使用 运行具有各种分布式训练设置的 TensorFlow 训练作业、监控系统资源利用率以及分析模型性能调试程序。

调试程序 用于分析模型参数的示例笔记本

以下列表显示了介绍调试程序调试各种机器学习模型、数据集和框架的训练作业所需 的适应性调试程序的示例笔记本。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试程序 - 使用内置规则

TensorFlow

卷积神经网络

MNIST (MNIST)

使用Amazon SageMaker 调试程序内置规则调试 TensorFlow 模型。

Amazon SageMaker 调试程序 - Tensorflow 2.1

TensorFlow

ResNet50

Cifar-10

使用Amazon SageMaker 调试程序挂钩配置和内置规则通过 Tensorflow 2.1 框架调试模型。

可视化 MXNet 训练的调试张量

MXNet

Gluon 卷积神经网络

时尚 MNIST

运行训练作业,并将 SageMaker 调试程序 配置为存储此作业中的所有张量。然后,我们将在我们的笔记本中可视化这些张量。

使用 启用 Spot 训练 Amazon SageMaker 调试程序

MXNet

Gluon 卷积神经网络

时尚 MNIST

了解 如何从 Spot 实例上的训练作业调试程序中收集张量数据,以及如何将调试程序内置规则与托管 Spot 训练结合使用。

使用规则调试 XGBoost Amazon SageMaker 调试程序 训练作业 XGBoost

XGBoost 回归

Abalone (鲍鱼) 了解如何使用调试程序挂钩和内置规则从 XGBoost 回归模型中收集和可视化张量数据,例如损失值、功能和 SAP 值。

要查找模型参数和使用案例的高级可视化内容,请参阅 上的下一个主题调试程序 高级演示和可视化