在 Studio 经典版中管理亚马逊 SageMaker 实验 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Studio 经典版中管理亚马逊 SageMaker 实验

重要

使用实验 Python SDK SageMaker 进行实验跟踪仅在 Studio Classic 中可用。我们建议使用全新的 Studio 体验,并使用与 mlFlow 的最新 SageMaker集成进行实验。没有 MLFlow 用户界面与 Studio Classic 如果你想在 Studio 中使用 mlFlow,则必须使用启动 mlFlow 用户界面。 Amazon CLI有关更多信息,请参阅 使用启动 mlFlow 用户界面 Amazon CLI

Amazon SageMaker Experiments Classic 是亚马逊 SageMaker 的一项功能,它允许你在 Studio Classic 中创建、管理、分析和比较机器学习实验。

Experiments Classic 会在运行时自动跟踪迭代的输入、参数、配置和结果。您可以将这些运行分配、分组和组织成实验。 SageMaker 实验与 Amazon SageMaker Studio Classic 集成,提供了一个可视化界面,供您浏览当前和过去的实验,比较关键性能指标的运行情况,并确定性能最佳的模型。 SageMaker 实验会跟踪创建模型的所有步骤和工件,在对生产中的问题进行故障排除或审核模型以进行合规性验证时,您可以快速重新审视模型的起源。

使用 SageMaker 实验查看、管理、分析和比较您以编程方式创建的自定义实验和根据 SageMaker 作业自动创建的实验。

经典实验笔记本示例

以下教程演示了如何跟踪各个模型训练实验的运行。运行笔记本后,您可以在 Studio Classic 中查看生成的实验。有关介绍 Studio Classic 其他功能的教程,请参阅亚马逊 SageMaker 工作室经典之旅

在笔记本环境中跟踪实验

要了解有关在笔记本环境中跟踪实验的更多信息,请参阅以下示例笔记本:

使用 Clarify 跟踪实验的偏见和可解释性 SageMaker

有关跟踪实验偏差和可解释性的 step-by-step 指南,请参阅以下示例笔记本:

使用脚本模式跟踪 SageMaker 训练作业的实验

有关跟踪 SageMaker 训练作业实验的更多信息,请参阅以下示例笔记本:

查看实验和运行

Amazon SageMaker Studio Classic 提供了一个实验浏览器,您可以使用它来查看实验和运行列表。您可以选择其中一个实体来查看有关实体的详细信息,也可以选择多个实体进行比较。您可以按实体名称、类型和标签筛选实验列表。

查看实验和运行
  1. 要在 Studio Classic 中查看实验,请在左侧边栏中选择实验

    选择实验的名称,以查看所有相关的运行。您可以通过直接在搜索栏中键入内容,或筛选实验类型来搜索实验。还可以选择要在实验或运行列表中显示哪些列。

    列表刷新并显示新的实验或实验运行,可能需要一点时间。您可以单击刷新以更新页面。实验列表应类似于下图:

    实验界面中的 SageMaker 实验列表
  2. 在实验列表中,双击实验以显示实验中的运行列表。

    注意

    默认情况下,由 SageMaker 作业和容器自动创建的实验运行在 Experiments Studio Classic 用户界面中可见。要隐藏 SageMaker 作业为给定实验创建的运行,请选择设置图标 ( The settings icon for Studio Classic. ) 并切换显示作业

    实验界面中运行的 SageMaker 实验列表
  3. 双击运行可显示有关特定运行的信息。

    概述窗格中,选择以下任何标题,可查看有关每个运行的可用信息:

    • 指标 – 在运行期间记录的指标。

    • 图表 – 创建自己的图表以比较多个运行。

    • 输出构件 – 实验运行的任何结果工件以及构件在 Amazon S3 中的位置。

    • 偏差报告 — 使用 Clarify 生成的训练前或训练后的偏见报告。

    • 可解释性 – 使用 Clarify 生成的可解释性报告。

    • 调试 – 调试器规则列表以及发现的任何问题。

SageMaker 使用 mlFlow 从经典实验迁移到亚马逊

过去使用经典实验创建的实验仍然可以在 Studio Classic 中查看。如果您想在 mlFlow 中维护和使用过去的实验代码,则必须更新您的训练代码以使用 mlFlow SDK 并再次运行训练实验。有关开始使用 mlFlow SDK 和 mlFlo Amazon w 插件的更多信息,请参阅。使用 mlFlow 跟踪实验