查看、搜索和比较实验运行 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看、搜索和比较实验运行

Amazon SageMaker 实验由具有相关目标的多个运行组组成。运行组由一个或多个运行组成,如数据预处理作业和训练作业。

要查看您的实验,必须通过 Studio Classic 进行观看。有关 Studio Classic 用户界面的概述,请参阅亚马逊 SageMaker Studio 经典用户界面概述。有关使用 Studio Classic 应用程序的信息,请参见亚马逊 SageMaker Studio 经典版

重要

截至 2023 年 11 月 30 日,之前的亚马逊 SageMaker Studio 体验现在被命名为 Amazon St SageMaker udio Classic。以下部分专门介绍如何使用 Studio Classic 应用程序。有关使用更新后的 Studio 体验的信息,请参阅亚马逊 SageMaker Studio

查看实验和运行

Amazon SageMaker Studio Classic 提供了一个实验浏览器,您可以使用它来查看实验和运行列表。您可以选择其中一个实体来查看有关实体的详细信息,也可以选择多个实体进行比较。您可以按实体名称、类型和标签筛选实验列表。

查看实验和运行
  1. 要在 Studio Classic 中查看实验,请在左侧边栏中选择 “实验”。

    选择实验的名称,以查看所有相关的运行。您可以通过直接在搜索栏中键入内容,或筛选实验类型来搜索实验。还可以选择要在实验或运行列表中显示哪些列。

    列表刷新并显示新的实验或实验运行,可能需要一点时间。您可以单击刷新以更新页面。实验列表应类似于下图:

    实验界面中的 SageMaker 实验列表
  2. 在实验列表中,双击实验以显示实验中的运行列表。

    注意

    默认情况下,由 SageMaker 作业和容器自动创建的实验运行在 Experiments Studio Classic 用户界面中可见。要隐藏 SageMaker 作业为给定实验创建的运行,请选择设置图标 ( The settings icon for Studio Classic. ) 并切换显示作业

    实验界面中运行的 SageMaker 实验列表
  3. 双击运行可显示有关特定运行的信息。

    概述窗格中,选择以下任何标题,可查看有关每个运行的可用信息:

    • 指标 – 在运行期间记录的指标。

    • 图表 – 创建自己的图表以比较多个运行。

    • 输出构件 – 实验运行的任何结果工件以及构件在 Amazon S3 中的位置。

    • 偏差报告 — 使用 Clarify 生成的训练前或训练后的偏见报告。

    • 可解释性 – 使用 Clarify 生成的可解释性报告。

    • 调试 – 调试器规则列表以及发现的任何问题。

比较和分析运行

要分析实验运行,请在 Amazon SageMaker Studio 经典实验用户界面中选择您选择的实验,然后选择要比较的运行。必须在 1 到 20 个运行之间进行选择。选择运行之后,选择右上角的分析

要比较实验运行,请执行以下操作:
  1. 导航至您选择的实验后,选择要比较的所有运行。必须选择大于 1 且少于 20 个运行才能进行分析。

  2. 选择右上角的分析

  3. 以直方图、折线图、散点图或条形图的形式,可视化多个实验运行的比较指标。要添加图表,可选择添加图表,为图表轴选择值,然后选择创建

在实验界面中运行要分析的精选 SageMaker 实验

您可以更新、下载或删除现有图表。

比较实验界面中三个不同实验运行的验证损失的 SageMaker 折线图

日志记录图表

日志记录图表和可视化可用于分类模型。您可以记录混淆矩阵、接收者操作特征或查准率和查全率图。

可使用以下 Python SDK 方法记录和可视化指标:

  • log_confusion_matrix:记录混淆矩阵构件,您可以在 Studio Classic 中运行概述的 “图表” 部分中查看该对象。

  • log_roc_curve:记录接收器操作特性工件,您可以在 Studio Classic 中运行概述的 “图表” 部分中查看该对象。

  • log_precision_recall:记录精确召回图,您可以在 Studio Classic 中运行概述的 “图表” 部分中查看该图表。

自动记录的查准率和查全率记录会创建类似以下的图表:

实验界面中运行的实验的精确召回图表 SageMaker