笔记本调试器示例 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

笔记本调试器示例

SageMaker 调试器示例笔记本在中提供aws/amazon-sagemaker-examples存储库。调试器示例笔记本将引导您完成调试和分析培训作业的基本到高级使用案例。

我们建议您在 SageMaker Studio 或 SageMaker 笔记本实例上运行示例笔记本,因为大多数示例都是为了在 SageMaker 生态系统中培训作业而设计,包括 Amazon EC2、Amazon S3 和 Amazon SageMaker Python SDK。

要将示例存储库克隆到 SageMaker Studio,请按照Amazon SageMaker 工作室之旅.

要在 SageMaker 笔记本实例中查找示例,请按照示 SageMaker 记本示例笔记本.

重要

要使用新的调试器功能,你需要升级 SageMaker Python SDK 和SMDebug客户端库。在你的 iPython 内核、Jupyter 笔记本或 JupyterLab 环境中,运行以下代码以安装最新版本的库并重新启动内核。

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

用于分析训练作业的调试器示例笔记

以下列表显示了调试器示例笔记本,介绍了调试器在监控和分析各种机器学习模型、数据集和框架的训练作业方面的适应性。

笔记本标题 框架 模型 数据集 描述

Amazon SageMaker 调试器分析数据分析

TensorFlow

克拉斯 ResNet50

Cifar-10

本笔记本介绍了对 SageMaker 调试器捕获的配置文件数据的交互式分析。探索的全部功能SMDebug交互式分析工具。

使用 Amazon SageMaker 调试器配置机器学习培训

TensorFlow

1-D 卷积神经网络

IMDB 数据集

分析 TensorFlow 1-D CNN,以便对 IMDB 数据进行情绪分析,该数据包括标记为具有正面或负面情绪的电影评论。浏览 Studio 调试器见解和调试器性能分析报告。

使用各种分布式训练设置分析 TensorFlow ResNet 模型训练

TensorFlow

ResNet50 Cifar-10

使用各种分布式训练设置运行 TensorFlow 训练作业,使用调试器监控系统资源利用率和分析模型性能。

使用各种分布式训练设置分析 PyTorch ResNet 模型训练

PyTorch

ResNet50

Cifar-10

使用各种分布式训练设置运行 PyTorch 训练作业,使用调试器监控系统资源利用率和分析模型性能。

调试器示例笔记本用于分析模型参数

以下列表显示了调试器示例笔记本,介绍了调试器调试各种机器学习模型、数据集和框架的训练作业的适应性。

笔记本标题 框架 模型 数据集 描述

使用内置规则:使用 Amazon SageMaker 调试器

TensorFlow

卷积神经网络

MNIST

使用 Amazon SageMaker 调试器内置规则调试 TensorFlow 模型。

Amazon SageMaker 调试器-张量流 2.1

TensorFlow

ResNet50

Cifar-10

使用 Amazon SageMaker 调试器挂接配置和内置规则使用 Tensorflow 2.1 框架调试模型。

可视化 MXNet 训练的调试张量

MXNet

Gluon 卷积神经网络

MNIST 时尚

运行训练作业并将 SageMaker 调试器配置为存储此作业中的所有张量,然后在笔记本电脑中可视化这些张量。

使用 Amazon SageMaker 调试器启用竞价培训

MXNet

Gluon 卷积神经网络

MNIST 时尚

了解调试器如何从竞价型实例上的训练作业中收集张量数据,以及如何将调试器内置规则与托管竞价训练结合使用。

解释使用 Amazon SageMaker 调试器预测个人收入的 xgBoost 模型 XGBoost

XGBoost 回归

成人普查数据集

了解如何使用调试器钩子和内置规则来收集和可视化 XgBoost 回归模型中的张量数据,例如损耗值、功能和 SHAP 值。

要查找模型参数和使用案例的高级可视化效果,请参阅下一主题:调试器高级演示和可视化.