共享模型和笔记本 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

共享模型和笔记本

共享您的模型和笔记本,以集中管理模型构件,提高可发现性,并增加模型在组织内模型的重复使用。在共享模型时,您可以提供训练和推理环境信息,并允许协作者将这些环境用于自己的训练和推理作业。

您共享的所有模型和与您共享的模型都可以直接在 Amazon SageMaker Studio 的集中位置进行搜索。有关登录 Amazon SageMaker Studio 的载入步骤的信息,请参阅加入 Amazon SageMaker 域

访问共享模型和笔记本

要访问您的共享内容,请在 Amazon SageMaker Studio UI 的左侧导航窗格中选择共享模型

添加共享内容

您可以通过 Studio UI 的共享模型部分共享模型或笔记本。有关每个步骤的详细信息,请参阅通过 Studio UI 共享模型和笔记本

筛选共享内容

有三个主要选项可用于筛选共享模型和笔记本:

  1. 由我共享 – 您共享给 JumpStart 或 SageMaker Canvas 的模型和笔记本。

  2. 与我共享 – 与您共享的模型和笔记本

  3. 由我的组织共享 – 与组织中的任何人共享的所有模型和笔记本

您还可以根据上次更新时间或者按字母顺序升序或降序对模型和笔记本进行排序。选择筛选条件 ( 
            The icon to filter shared models and notebooks in JumpStart.
          ) 图标对您的选择进行进一步排序。

与 SageMaker Canvas 用户共享表格模型

除了与组织共享模型外,您还可以与使用 SageMaker Canvas 的协作者共享模型。如果您将模型共享到 SageMaker Canvas,则协作者可以将这些模型导入 SageMaker Canvas 并使用它们来生成预测。

重要

重要提示:您只能向 SageMaker Canvas 共享表格模型。

您可以在由我共享与我共享选项卡中选择筛选条件 ( 
            The icon to filter shared models and notebooks in JumpStart.
          ) 图标,筛选共享到 SageMaker Canvas 以及在其中与您共享的模型和笔记本。有关将模型共享到 SageMaker Canvas 的更多信息,请参阅在 Canvas 中自带模型

通过 Studio UI 共享模型和笔记本

要共享模型和笔记本,请导航至 Amazon SageMaker Studio 中的共享模型部分,选择由我的组织共享,然后选择添加下拉列表。选择添加模型或添加笔记本。 
          The menu to add shared models or notebooks to JumpStart.

添加模型

要添加模型,请选择由我的组织共享,然后从添加下拉列表中选择添加模型。输入模型的基本信息,并添加要与协作者共享的任何训练或推理信息,以便训练或部署模型。输入所有必需信息后,选择右下角的添加模型

基本信息

首先,添加有关模型的基本描述性信息。这些信息用于提高模型的可搜索性。

  1. 添加此模型的标题。添加标题后,系统会根据模型标题自动在 ID 字段中填充唯一标识符。

  2. 添加模型的描述。

  3. 从选项中选择一种数据类型:文本视觉表格音频

  4. 从可用任务列表中选择机器学习任务,例如图像分类文本生成

  5. 选择机器学习框架。

  6. 添加带有关键字或短语的元数据信息,以便用于搜索模型。使用逗号分隔关键字。所有空格都将自动替换为逗号。

启用训练

添加要共享的模型时,您可以选择提供训练环境,并允许组织中的协作者训练共享的模型。

注意

如果您要添加表格模型,则还需要指定列格式和目标列以启用训练。有关更多信息,请参阅《Amazon SageMaker 开发人员指南》中的 Amazon SageMaker Canvas

  1. 添加用于模型训练的容器。您可以选择用于现有训练作业的容器,将自己的容器带入 Amazon ECR,或者使用 Amazon SageMaker 深度学习容器。

  2. 添加环境变量。

  3. 提供训练脚本位置。

  4. 提供脚本模式入口点。

  5. 为训练期间生成的模型构件提供 Amazon S3 URI。

  6. 向默认训练数据集提供 Amazon S3 URI。

  7. 提供模型输出路径。模型输出路径应该是从训练中生成的任何模型构件的 Amazon S3 URI 路径。SageMaker 将模型构件作为单个压缩的 TAR 文件保存到 Amazon S3 中。

  8. 提供验证数据集,用于在训练期间评估您的模型。验证数据集必须包含与训练数据集相同的列数和相同的特征标题。

  9. 开启网络隔离。网络隔离可隔离模型容器,这样就无法通过模型容器进行入站或出站网络调用。

  10. 提供训练通道,SageMaker 可以通过这些通道访问您的数据。例如,您可以指定名为 traintest 的输入通道。对于每个通道,请指定通道名称以及您数据位置的 URI。选择浏览以搜索 Amazon S3 位置。

  11. 提供超参数。添加任意超参数,合作者在训练期间应使用这些参数进行实验。为这些超参数提供一系列有效值。此范围用于训练作业超参数验证。您可以根据超参数的数据类型定义范围。

  12. 选择一个实例类型。对于大批量训练,建议使用具有更多内存的 GPU 实例。有关各 Amazon 区域的 SageMaker 训练实例的完整列表,请参阅 Amazon SageMaker 定价中的按需定价表。

  13. 提供指标。通过为训练作业所监控的各个指标指定名称和正则表达式,定义训练作业的指标。设计正则表达式以捕获您的算法发出的指标值。例如,指标 loss 可以具有正则表达式 "Loss =(.*?);"

启用部署

添加要共享的模型时,您可以选择提供推理环境,组织中的协作者可以在该环境中部署共享的模型用于推理。

  1. 添加用于推理的容器。您可以将自己的容器带到 Amazon ECR 中,也可以使用 Amazon SageMaker 深度学习容器。

  2. 提供推理脚本的 Amazon S3 URI。自定义推理脚本在您选择的容器内运行。您的推理脚本应包括用于模型加载的函数,用于生成预测的可选函数,以及输入和输出处理。有关为所选框架创建推理脚本的更多信息,请参阅 SageMaker Python SDK 文档中的框架。例如,对于 TensorFlow,请参阅如何实施预处理和/或后处理处理程序

  3. 为模型构件提供 Amazon S3 URI。模型构件是训练模型得到的输出,通常由经过训练的参数、描述如何计算推理的模型定义以及其他元数据组成。如果您在 SageMaker 中训练了模型,则模型构件将作为单个压缩的 TAR 文件保存在 Amazon S3 中。如果您在 SageMaker 之外训练模型,则需要创建这个压缩的 tar 文件并将其保存在 Amazon S3 位置。

  4. 选择一个实例类型。对于大批量训练,建议使用具有更多内存的 GPU 实例。有关各 Amazon 区域的 SageMaker 训练实例的完整列表,请参阅 Amazon SageMaker 定价中的按需定价表。

添加笔记本

要添加笔记本,请选择由我的组织共享,然后从添加下拉列表中选择添加笔记本。输入笔记本的基本信息,并提供该笔记本所在位置的 Amazon S3 URI。

基本信息

首先,添加有关笔记本的基本描述性信息。这些信息用于提高笔记本的可搜索性。

  1. 为此笔记本添加标题。添加标题后,系统会根据笔记本标题自动在 ID 字段中填充唯一标识符。

  2. 添加笔记本的描述。

  3. 从选项中选择一种数据类型:文本视觉表格音频

  4. 从可用任务列表中选择 ML 任务,例如图像分类文本生成

  5. 选择一个 ML 框架。

  6. 添加带有关键字或短语的元数据信息,以便用于搜索笔记本。使用逗号分隔关键字。所有空格都将自动替换为逗号。

添加笔记本

提供笔记本所在位置的 Amazon S3 URI。您可以选择浏览,在 Amazon S3 存储桶中搜索笔记本文件的位置。找到笔记本后,复制 Amazon S3 URI,选择取消,然后将 Amazon S3 URI 添加到笔记本位置字段。

输入所有必需信息后,选择右下角的添加笔记本