使用亚马逊管理 Machine Learning SageMaker 实验 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用亚马逊管理 Machine Learning SageMaker 实验

亚马逊 SageMaker 实验是亚马逊的一项功能 SageMaker 您可以组织、跟踪、比较和评估机器学习实验。

机器学习是一个迭代过程。您需要试验数据、算法和参数的各种组合,同时观察增量变化对模型准确性的影响。随着时间的推移,这种迭代实验可能会导致成千上万的模型训练运行和产生不同的模型版本,从而难以跟踪性能最佳的模型及其输入配置。您也很难将现行的实验与过去的实验进行比较,以找出进一步改进的机会。

SageMaker 实验会以如下方式自动跟踪所有迭代的输入、参数、配置和结果:审判. 您可以将这些试验分配、分组和组织到实验. SageMaker 实验与亚马逊集成 SageMaker Studio 提供可视界面,以浏览您的现行实验和过去的实验,比较试验的关键性能指标,并确定性能最出色的实验。

SageMaker 实验附带自己的实验 Python SDK这使分析功能可供在亚马逊轻松使用 SageMaker 笔记本。由于 SageMaker 实验可以跟踪创建模型所需的所有步骤和构件,在对生产环境中的问题进行故障排除或审计模型以进行合规性验证时,可以快速重新访问模型的源。

SageMaker 实验功能

以下部分简要概述了 SageMaker 实验提供的功能。

组织实验

亚马逊 SageMaker 实验提供了一个结构化的组织方案,帮助用户对其机器学习迭代进行分组和组织。顶级实体(实验)是作为一个组进行观察、比较和评估的试验 集合。试验是一组称为试验组件 的步骤。每个试验组件都可以包含数据集、算法和参数等输入的组合,并生成模型、指标、数据集和检查点等特定输出。试验组件示例包括数据预处理作业、训练作业和批量转换作业。

实验目的是确定生成最佳模型的试验。我们将执行多个试验,每个试验都会隔离和衡量更改一个或多个输入而保持其余输入不变的影响。通过分析试验,您可以确定哪些功能对模型的影响最大。

跟踪实验

亚马逊 SageMaker 通过 实验可以跟踪实验。

自动跟踪

SageMaker 实验自动跟踪亚马逊 SageMaker Autopilot 作业作业作为实验,将其基础训练作业作业作为试验跟踪。 SageMaker 实验还会自动跟踪 SageMaker 无论作业已分配给试验还是未分配,还会将独立执行的训练、批量转换和处理作业作为试验组件处理。未分配的试验组件可以在以后与试验相关联。包括数据集、算法、超参数和模型指标在内的所有实验构件都会予以跟踪和记录。这些数据允许客户跟踪模型的完整谱系,这有助于进行模型管理、审计和合规性验证。

手动跟踪

SageMaker 实验提供跟踪 API用于记录和跟踪本地运行的机器学习工作流程 SageMaker 录音室笔记本,包括经典 SageMaker 笔记本。这些实验必须作为 SageMaker 训练、批量转换或处理作业。

比较和评估实验

亚马逊 SageMaker 实验与亚马逊集成 SageMaker Studio。当您使用时 SageMaker Studio、SageMaker 实验会自动跟踪您的实验和试验,并显示跟踪数据的可视化效果和用于搜索数据的界面。

SageMaker 实验使用试验排行榜的概念,根据所选指标自动对试验进行组织、排序和分类。 SageMaker Studio 生成实时数据可视化效果,如指标图表和图形,以快速比较和确定性能最佳的模型。这些内容将随着实验的推进而实时更新。

亚马逊 SageMaker Autopilot

亚马逊 SageMaker 实验与亚马逊集成 SageMaker Autopilot。当你执行自动驾驶仪作业时, SageMaker 实验会为该作业创建一个实验,并试用针对可用试验组件、参数和构件的每种不同组合。您可以使用直观地深入了解所有试验和组件。 SageMaker Studio。