管道概述 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管道概述

Amazon SageMaker AI 管道是定向无环图 (DAG) 中一系列相互关联的步骤,这些步骤是使用 drag-and-drop UI 或 Pipelin es SDK 定义的。您还可以使用管道定义 JSON 模式构建管道。此 DAG JSON 定义提供了管道中每个步骤的要求和关系信息。管道 DAG 的结构由步骤之间的数据依赖关系决定。当一个步骤的输出属性作为输入传递给另一个步骤时,就会产生这些数据依赖关系。下图是管道 DAG 的示例:

管道有向无环图 (DAG) 就是一个例子。
示例 DAG 包括以下步骤:
  1. AbaloneProcess处理步骤的一个实例,在用于训练的数据上运行预处理脚本。例如,脚本可以填充缺失值,对数值数据进行规范化处理,或将数据分成训练数据集、验证数据集和测试数据集。

  2. AbaloneTrain训练步骤的一个实例,用于配置超参数,并根据预处理的输入数据训练模型。

  3. AbaloneEval处理步骤的另一个实例,用于评估模型的准确性。本步骤展示了一个数据依赖的例子 - 本步骤使用 AbaloneProcess 的测试数据集输出。

  4. AbaloneMSECond是 Condit i on 步骤的一个实例,在本例中,该步骤进行检查以确保模型评估的 mean-square-error结果低于特定限制。如果模型不符合标准,管道运行就会停止。

  5. 管道运行按以下步骤进行:

    1. AbaloneRegisterModel,其中 SageMaker AI 调用RegisterModel步骤将模型作为版本控制的模型包组注册到 Amazon SageMaker 模型注册表中。

    2. AbaloneCreateModel,其中 SageMaker AI 调用一个CreateModel步骤来创建模型,为批量转换做准备。在中AbaloneTransform, SageMaker AI 调用 “转换” 步骤,对您指定的数据集生成模型预测。

以下主题介绍了 Pipelines 的基本概念。有关描述这些概念的实施的教程,请参阅Pipelines 操作