SageMaker 管道概述 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker 管道概述

Amazon SageMaker 模型构建管道是使用 Pipelin es SDK 定义的一系列相互关联的步骤。您也可以使用管道定义 JSON 架构在没有 SDK 的情况下构建管道。此管道定义使用可导出为 JSON 定义的有向无环图 (DAG) 对管道进行编码。此 DAG 提供了有关管道每个步骤的要求和各步骤相互关系的信息。管道 DAG 的结构由步骤之间的数据依赖关系决定。当一个步骤的输出属性作为输入传递给另一个步骤时,就会产生这些数据依赖关系。下图是管道 DAG 的示例:

管道定向无环图 (DAG) 示例。
示例 DAG 包括以下步骤:
  1. AbaloneProcess是 Process ing 步骤的一个实例,它对用于训练的数据运行预处理脚本。例如,该脚本可以填充缺失值、标准化数值数据或将数据拆分为训练、验证和测试数据集。

  2. AbaloneTrain,“训练” 步骤的一个实例,用于配置超参数并根据预处理的输入数据训练模型。

  3. AbaloneEval处理” 步骤的另一个实例,用于评估模型的准确性。此步骤显示了数据依赖关系的示例,此步骤使用了的测试数据集输出。AbaloneProcess

  4. AbaloneMSECond是 Condit i on 步骤的一个实例,在本例中,该步骤进行检查以确保模型评估的 mean-square-error 结果低于特定限制。如果模型不符合标准,则管道运行停止。

  5. 管道运行将按以下步骤进行:

    1. AbaloneRegisterModel,其中 SageMaker 调用了将模型作为版本化模型包组注册到 Amazon SageMaker 模型注册表的RegisterModel步骤。

    2. AbaloneCreateModel,其中 SageMaker 调用创建模型的CreateModel步骤,为批量转换做准备。在中AbaloneTransform, SageMaker调用 “转换” 步骤,对您指定的数据集生成模型预测。

以下主题描述了基本的 SageMaker 流水线概念。有关描述这些概念的实施的教程,请参阅创建和管理 SageMaker 管道