查看、搜索和比较实验运行 - 亚马逊 SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看、搜索和比较实验运行

亚马逊 SageMaker 实验由多个具有相关目标的运行小组组成。一个运行组由一个或多个运行组成,例如数据预处理作业和训练作业。

您可以使用实验浏览器显示这些实体的列表。您可以按实体名称、类型和标签来筛选列表。有关 Studio 用户界面的概述,请参阅亚马逊 SageMaker 工作室用户界面概述

查看实验和运行情况

Amazon SageMaker Studio 提供了一个实验浏览器,您可以使用它来查看实验和运行列表。您可以选择其中一个实体来查看有关该实体的详细信息,也可以选择多个实体进行比较。

查看实验和运行情况
  1. 要在 Studio 中查看实验,请在左侧边栏中选择实验

    请选择实验名称以查看所有相关运行。您可以通过直接在搜索栏中键入内容或筛选实验类型来搜索实验。您还可以选择在实验或运行列表中显示哪些列。

    列表可能需要一点时间才能刷新并显示新的实验或实验运行情况。您可以单击 “刷新” 来更新页面。您的实验列表应类似于以下内容:

    
            实验用户界面中的 SageMaker 实验列表
  2. 在实验列表中,双击实验以显示实验中运行的列表。

    注意

    默认情况下,由 SageMaker 作业和容器自动创建的实验运行在 Experiments Studio 用户界面中可见。要隐藏 SageMaker 作业为给定实验创建的运行次数,请选择设置图标 ( 
                The settings icon for Studio.
              ) 并切换显示作业

    
            实验列表在 SageMaker 实验用户界面中运行
  3. 双击运行可显示有关特定运行的信息。

    在 “概览” 窗格中,选择以下任一标题以查看有关每次运行的可用信息:

    • 指标-运行期间记录的指标。

    • 图表-创建自己的图表来比较运行情况。

    • 输出工件 — 实验运行的任何生成工件以及构件在 Amazon S3 中的位置。

    • 偏见报告 — 使用 Clarify 生成的预训练或训练后偏见报告。

    • 可解释性 — 使用 Clarify 生成的可解释性报告。

    • 调试-调试器规则和发现的任何问题的列表。

比较和分析运行情况

要分析实验运行情况,请在 Amazon SageMaker Studio 实验用户界面中选择您选择的实验,然后选择要比较的运行次数。您必须在 1 到 20 个游程之间选择。选择运行后,请选择右上角的分析

要比较实验运行情况,请执行以下操作:
  1. 导航到您选择的实验后,选择所有要比较的游程。您必须选择多于 1 次且少于 20 次的游程进行分析。

  2. 请选择右上角的分析

  3. 在直方图、折线图、散点图或条形图中可视化多次实验运行的比较指标。要添加图表,请选择添加图表,为图表轴选择值,然后选择创建


        在实验用户界面中运行一系列 SageMaker 实验以进行分析

您可以更新、下载或删除现有图表。


        比较实验界面中三次不同实验运行的验证损失的 SageMaker 折线图

自动日志记录

自动记录和可视化可用于分类模型。您可以自动记录混淆矩阵、接收机工作特性或精度和召回图。

使用以下 Python SDK 方法记录和可视化指标:

  • log_confusion_matrix:记录混乱矩阵工件,您可以在 Studio 运行概览的 “图表” 部分中查看该对象。

  • log_roc_curve:记录接收器运行特性工件,您可以在 Studio 运行概览的 “图表” 部分中查看该工件。

  • log_precision_recall:记录精确召回图,您可以在 Studio 运行概览的 “图表” 部分中查看该图表。

自动记录的精确调用记录将创建一个类似于以下的图表:


          在实验用户界面中运行的实验的 SageMaker 精确召回图表