查看、搜索和比较实验运行 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

查看、搜索和比较实验运行

Amazon SageMaker 实验包含多个具相关目标的运行组。运行组由一个或多个运行组成,如数据预处理作业和训练作业。

您可以使用实验浏览器显示这些实体的列表。您可以按实体名称、类型和标签筛选列表。有关 Studio 用户界面的概述,请参阅 Amazon SageMaker Studio UI 概述

查看实验和运行

Amazon SageMaker Studio 提供了一个实验浏览器,您可以使用该浏览器查看实验和运行列表。您可以选择其中一个实体来查看有关实体的详细信息,也可以选择多个实体进行比较。

查看实验和运行
  1. 要在 Studio 中查看实验,可在左侧边栏中选择实验

    选择实验的名称,以查看所有相关的运行。您可以通过直接在搜索栏中键入内容,或筛选实验类型来搜索实验。还可以选择要在实验或运行列表中显示哪些列。

    列表刷新并显示新的实验或实验运行,可能需要一点时间。您可以单击刷新以更新页面。实验列表应类似于下图:

    
            SageMaker Experiments 用户界面中的实验列表
  2. 在实验列表中,双击实验以显示实验中的运行列表。

    注意

    默认情况下,由 SageMaker 作业和容器自动创建的实验运行在 Studio“实验”用户界面中是可见的。要隐藏 SageMaker 作业为给定实验创建的运行,可选择设置图标 ( 
                The settings icon for Studio.
              ) 并切换显示作业

    
            SageMaker Experiments 用户界面中的实验运行列表
  3. 双击运行可显示有关特定运行的信息。

    概述窗格中,选择以下任何标题,可查看有关每个运行的可用信息:

    • 指标 – 在运行期间记录的指标。

    • 图表 – 创建自己的图表以比较多个运行。

    • 输出构件 – 实验运行的任何结果工件以及构件在 Amazon S3 中的位置。

    • 偏见报告 – 使用 Clarify 生成的训练前或训练后偏见报告。

    • 可解释性 – 使用 Clarify 生成的可解释性报告。

    • 调试 – 调试器规则列表以及发现的任何问题。

比较和分析运行

要分析实验运行,请在 Amazon SageMaker Studio“实验”用户界面中选择所需的实验,然后选择要比较的运行。必须在 1 到 20 个运行之间进行选择。选择运行之后,选择右上角的分析

要比较实验运行,请执行以下操作:
  1. 导航至您选择的实验后,选择要比较的所有运行。必须选择大于 1 且少于 20 个运行才能进行分析。

  2. 选择右上角的分析

  3. 以直方图、折线图、散点图或条形图的形式,可视化多个实验运行的比较指标。要添加图表,可选择添加图表,为图表轴选择值,然后选择创建


        SageMaker“实验”用户界面中要分析的实验运行选取

您可以更新、下载或删除现有图表。


        SageMaker“实验”用户界面中对三个不同实验运行的验证损失进行比较的折线图

日志记录图表

日志记录图表和可视化可用于分类模型。您可以记录混淆矩阵、接收者操作特征或查准率和查全率图。

可使用以下 Python SDK 方法记录和可视化指标:

  • log_confusion_matrix:记录混淆矩阵构件,您可以在 Studio 运行概述图表部分中查看此构件。

  • log_roc_curve:记录接收者操作特征构件,您可以在 Studio 运行概述图表部分中查看此构件。

  • log_precision_recall:记录查准率和查全率图,您可以在 Studio 运行概述图表部分中查看此图。

自动记录的查准率和查全率记录会创建类似以下的图表:


          SageMaker“实验”用户界面中实验运行的查准率和查全率图表