本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SageMaker 调试程序 XGBoost 训练报告
对于 SageMaker XGBoost 训练作业,请使用 调试程序 CreateXgboostReport 规则接收训练进度和结果的全面训练报告。按照本指南,在构建 CreateXgboostReport 评估程序时指定 XGBoost 规则,使用 Amazon SageMaker Python SDK
要使用新的 调试程序 功能,您需要升级 SageMaker Python 开发工具包和 SMDebug 客户端库。在 iPython 内核、Jupyter 笔记本或 JupyterLab 环境中,运行以下代码以安装最新版本的库并重新启动内核。
import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)
使用 SageMaker XGBoost 报告规则构建 调试程序 XGBoost 评估程序
在为 SageMaker 训练作业构建 XGBoost 评估程序时,请指定规则,如以下示例代码中所示。
规则从您的训练作业中收集以下输出张量:CreateXgboostReport
-
hyperparameters
– 在第一步中保存。 -
metrics
– 每 5 个步骤保存一次损失和准确性。 -
feature_importance
– 每 5 个步骤保存一次。 -
predictions
– 每 5 个步骤保存一次。 -
labels
– 每 5 个步骤保存一次。
输出张量保存在默认的 S3 存储桶中。例如:s3://sagemaker-
。
<region>
-<12digit_account_id>
/<base-job-name>
/debug-output/
下载 调试程序 XGBoost 训练报告
在训练作业运行时或使用 调试程序 和 XGBoost (CLI) 完成作业时,下载 Amazon SageMaker Python SDK
调试程序 XGBoost 训练报告演练
本部分将指导您完成 调试程序 XGBoost 训练报告。该报告会自动聚合,具体取决于输出张量正则表达式,从而识别您的训练作业的类型在二进制分类、多类别分类和回归之间。
主题
数据集的真实标签的分配
此直方图显示原始数据集中已标记的分类(用于分类)或值(用于回归)的分布。数据集中的不一致性可能会导致不准确。此可视化可用于以下模型类型:二进制分类、多类别和回归。

损失与步骤图表
这是一个折线图,显示了整个训练步骤在训练数据和验证数据方面的损失进度。损失是您在目标函数中定义的值,如均方误差。您可以从此图中衡量模型是过度拟合还是欠拟合。本节还提供了见解,您可以使用这些见解来确定如何解决过度拟合和欠拟合问题。此可视化可用于以下模型类型:二进制分类、多类别和回归。

功能重要性
提供了三种不同类型的功能重要性可视化:权重、增益和覆盖。我们为报告中的三个部分分别提供了详细定义。功能重要性可视化可帮助您了解训练数据集中的功能对预测有贡献。功能重要性可视化可用于以下模型类型:二进制分类、多分类和回归。

Confusion 矩阵
此可视化仅适用于二进制和多类别分类模型。准确性本身可能不足以评估模型性能。对于某些使用案例(如医疗保健和欺诈检测),了解假阳性比率和假阴性比率也很重要。混淆矩阵为您提供了用于评估模型性能的其他维度。

混淆矩阵的计算
本部分为您提供了有关模型的精度、召回率和 F1 分数的微型、宏和加权指标的更多信息。

每个对角元素迭代的准确率
此可视化仅适用于二进制分类和多类别分类模型。这是一个折线图,它在每个类的训练步骤中绘制混淆矩阵中的对角值。此图显示了每个类在整个训练步骤的准确性。您可以从此图中识别性能欠佳的类。

接收机操作特征曲线
此可视化仅适用于二进制分类模型。接收机操作特征曲线通常用于评估二进制分类模型的性能。曲线的 y 轴为真正率 (TPF),x 轴为假正率 (FPR)。该图还显示曲线下面积 (AUC) 的值。AUC 值越大,分类器的预测就越准确。您还可以使用 ROC curve 来了解 TPR 和 FPR 之间的权衡,并为您的使用案例确定最佳分类阈值。可以调整分类阈值以调整模型的行为,从而减少某种或其他类型的错误 (FP/FN) 中的多种错误。

在上次保存的步骤分发剩余项
此可视化是一个列图,显示了 调试程序 捕获的最后一步中的剩余分配。在此可视化中,您可以检查残差分布是否接近于以零为中心的正态分布。如果残差偏斜,您的特征可能不足以预测标签。

每个标签条柱迭代的绝对验证错误
此可视化仅适用于回归模型。实际目标值分为 10 个间隔。此可视化显示在折线图中,验证错误在整个训练步骤中的进度。绝对验证错误是验证期间预测与实际值之间的差值的绝对值。您可以从此可视化中确定性能欠佳的间隔。
