查看、搜索和比较实验运行
Amazon SageMaker 实验包含多个具相关目标的运行组。运行组由一个或多个运行组成,如数据预处理作业和训练作业。
您可以使用实验浏览器显示这些实体的列表。您可以按实体名称、类型和标签筛选列表。有关 Studio 用户界面的概述,请参阅 Amazon SageMaker Studio UI 概述。
查看实验和运行
Amazon SageMaker Studio 提供了一个实验浏览器,您可以使用该浏览器查看实验和运行列表。您可以选择其中一个实体来查看有关实体的详细信息,也可以选择多个实体进行比较。
查看实验和运行
-
要在 Studio 中查看实验,可在左侧边栏中选择实验。
选择实验的名称,以查看所有相关的运行。您可以通过直接在搜索栏中键入内容,或筛选实验类型来搜索实验。还可以选择要在实验或运行列表中显示哪些列。
列表刷新并显示新的实验或实验运行,可能需要一点时间。您可以单击刷新以更新页面。实验列表应类似于下图:
-
在实验列表中,双击实验以显示实验中的运行列表。
注意
默认情况下,由 SageMaker 作业和容器自动创建的实验运行在 Studio“实验”用户界面中是可见的。要隐藏 SageMaker 作业为给定实验创建的运行,可选择设置图标 ( ) 并切换显示作业。
-
双击运行可显示有关特定运行的信息。
在概述窗格中,选择以下任何标题,可查看有关每个运行的可用信息:
-
指标 – 在运行期间记录的指标。
-
图表 – 创建自己的图表以比较多个运行。
-
输出构件 – 实验运行的任何结果工件以及构件在 Amazon S3 中的位置。
-
偏见报告 – 使用 Clarify 生成的训练前或训练后偏见报告。
-
可解释性 – 使用 Clarify 生成的可解释性报告。
-
调试 – 调试器规则列表以及发现的任何问题。
-
比较和分析运行
要分析实验运行,请在 Amazon SageMaker Studio“实验”用户界面中选择所需的实验,然后选择要比较的运行。必须在 1 到 20 个运行之间进行选择。选择运行之后,选择右上角的分析。
要比较实验运行,请执行以下操作:
-
导航至您选择的实验后,选择要比较的所有运行。必须选择大于 1 且少于 20 个运行才能进行分析。
-
选择右上角的分析。
以直方图、折线图、散点图或条形图的形式,可视化多个实验运行的比较指标。要添加图表,可选择添加图表,为图表轴选择值,然后选择创建。
您可以更新、下载或删除现有图表。
日志记录图表
日志记录图表和可视化可用于分类模型。您可以记录混淆矩阵、接收者操作特征或查准率和查全率图。
可使用以下 Python SDK 方法记录和可视化指标:
log_confusion_matrix
:记录混淆矩阵构件,您可以在 Studio 运行概述的图表部分中查看此构件。log_roc_curve
:记录接收者操作特征构件,您可以在 Studio 运行概述的图表部分中查看此构件。log_precision_recall
:记录查准率和查全率图,您可以在 Studio 运行概述的图表部分中查看此图。
自动记录的查准率和查全率记录会创建类似以下的图表: