SageMaker 快速启动 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker 快速启动

注意

要将新功能与现有笔记本实例或 Studio 应用程序结合使用,必须重新启动笔记本实例或 Studio 应用程序以获取最新更新。有关更多信息,请参阅 。更新 SageMaker Studio 和 Studio 应用程序.

您可以使用 SageMaker JumpStart 通过精选的一键式解决方案、示例笔记本电脑和可部署的预训练模型来了解 SageMaker 的特性和功能。您也可以微调模型并部署它们。

要访问快速入门,您必须首先启动 SageMaker 工作室。快速启动功能在 SageMaker 笔记本实例中不可用,您无法通过 SageMaker API 或AmazonCLI。

使用 “快速启动” 启动程序打开开始使用部分或通过选择 “快速开始” 图标 ( ) 中的左侧边栏.

文件和资源浏览器(左窗格),您可以找到快速启动选项。在这里,您可以选择浏览 JumpStart 以查看解决方案、型号、笔记本电脑和其他资源,也可以查看当前启动的解决方案、终端和培训工作。

要查看 JumpStart 提供的内容,请选择 “快速开始” 图标,然后选择浏览快速开始. JupmpStart 将在新选项卡中打开主要工作区域. 在这里,您可以浏览一键下单解决方案、型号、笔记本示例、博客和视频教程。

重要

Amazon SageMaker JumpStart 使某些内容可从第三方来源获得。本内容可能受到单独许可条款的约束。在下载或使用内容之前,您有责任审查和遵守任何适用的许可条款,并确保这些条款在您的使用案例中可以接受。

使用快速启动

在 JumpStart 页面的顶部,您可以使用搜索来查找感兴趣的主题。 

您可以通过使用搜索或浏览搜索面板后面的每个类别来查找 JumpStart 资源:

  • 解决方案— 推出端到端机器学习解决方案,将 SageMaker 与其他Amazon服务,只需点击一下。

  • 文本模型— 针对各种自然语言处理用例部署和微调预训练的变压器。

  • 视觉模型— 部署和微调预训练的模型,用于图像分类和对象检测,只需单击一下即可。

  • SageMaker 算法— 使用这些示例笔记本电脑,训练和部署 SageMaker 内置算法以解决各种问题类型。

  • 示例笔记本— 运行示例笔记本电脑,这些笔记本电脑使用 SageMaker 功能,例如竞价型实例培训和针对各种模型类型和用例的实验。

  • 博客— 阅读亚马逊托管的机器学习专家的深入探讨和解决方案。

  • 视频教程— 观看由亚马逊托管的机器学习专家提供的 SageMaker 功能和机器学习用例的视频教程。

Solutions

选择解决方案时,JumpStart 会显示该解决方案的描述和启动按钮。当您单击启动,JumpStart 将创建运行解决方案所需的所有资源,包括培训和模型托管实例。快速启动解决方案启动后,JumpStart 会显示一个打开笔记本按钮。您可以单击该按钮以使用提供的笔记本电脑并浏览解决方案的功能。由于工件是在启动期间或运行提供的笔记本电脑后生成的,因此它们会在生成的对象表。您可以使用 “废纸篓” 图标( )。您可以删除解决方案的所有资源,方法是选择删除解决方案资源.

Models

型号可直接从 JumpStart 进行快速部署。您也可以微调其中一些模型。浏览模型时,您可以滚动到部署部分并微调到说明部分。在说明部分中,您可以了解有关模型的详细信息,包括模型可以对模型执行哪些操作、预期的输入和输出类型,以及如果要使用转移学习来微调模型,则需要哪些数据类型。

下表列出了 JumpStart 中当前提供的型号。可用模型按模型类型和任务排序。要查看其他模型集,请单击这些模型的任务选项卡。

文本模型

Text Classification Models

模型 精细
BERT 基础外壳 张量流 Hub
BERT 基地中心/公布地球 张量流 Hub
BERT 基地多语言外壳 张量流 Hub
BERT 基本未解决 张量流 Hub
BERT 基础维基百科和书库 张量流 Hub
BERT 大型外壳 张量流 Hub
BERT 大型外壳全字掩码 张量流 Hub
BERT 大型未修改全字掩码 张量流 Hub
选举基础 ++ 张量流 Hub
选举-小额 ++ 张量流 Hub
Text Generation Models

模型 精细
蒸馏 2 拥抱面部
GPT 2 拥抱面部
GPT 2 大 拥抱面部
GPT 2 中等 拥抱面部
OpenAI GPT GPT 拥抱面部
Extractive Question Answering Models

模型 精细
BERT 基础外壳 PyTorch 集线器
BERT 基地多语言外壳 PyTorch 中的
BERT 基地多语言未解决 PyTorch 中的
BERT 基本未解决 PyTorch 中的
BERT 大型外壳 PyTorch 中的
BERT 大型外壳全字掩码 PyTorch 中的
BERT 大型外壳全字屏蔽小队 PyTorch 中的
BERT 大型未解决 PyTorch 中的
BERT 大型未修改全字掩码 PyTorch 中的
BERT 大型未解开全字掩蔽小队 PyTorch 中的
迪斯蒂尔伯特底座 PyTorch 中的
迪斯蒂尔伯特基地多语言套装 PyTorch 中的
迪斯蒂尔伯特基本未解决 PyTorch 中的
迪斯蒂罗贝塔基本 PyTorch 中的
Roberta Base PyTorch 中的
Roberta Base OpenAI PyTorch 中的
罗伯塔大号 PyTorch 中的
罗伯塔大型 OpenAI 具包 PyTorch 中的
Sentence Pair Classification Models

模型 微调
BERT 基础外壳 拥抱面部
BERT 基础外壳 张量流 Hub
BERT 基地中心/公布地球 张量流 Hub
BERT 基地多语言外壳 拥抱面部
BERT 基地多语言外壳 张量流 Hub
BERT 基地多语言未解决 拥抱面部
BERT 基本未解决 拥抱面部
BERT 基本未解决 张量流 Hub
BERT 基础维基百科和书库 张量流 Hub
BERT 大型外壳 拥抱面部
BERT 大型外壳全字掩码 拥抱面部
BERT 大型外壳全字掩码 张量流 Hub
BERT 大型未解决 拥抱面部
BERT 大型未解决 张量流 Hub
BERT 大型未修改全字掩码 拥抱面部
BERT 大型未修改全字掩码 张量流 Hub
迪斯蒂尔伯特底座 拥抱面部
迪斯蒂尔伯特基地多语言套装 拥抱面部
迪斯蒂尔伯特基本未解决 拥抱面部
迪斯蒂罗贝塔基本 拥抱面部
选举基础 ++ 张量流 Hub
选举-小额 ++ 张量流 Hub
Roberta Base 拥抱面部
Roberta Base OpenAI 拥抱面部
Roberta 大 拥抱面部
罗伯塔大型 OpenAI 具包 拥抱面部
XLM CLM 英语-德语 拥抱面部
XLM 传销 15 新兴国际语言 拥抱面部
XLM 传销英语-德语 拥抱面部
XLM 传销英语-罗马尼亚语 拥抱面部
XLM 传销 TLM 15 语言 拥抱面部

视觉模型

Image Classification Models

模型 微调
AlexNet PyTorch 中的
比特米 R101x1 张量流 Hub
比特-M R101x1 伊马根-21k 张量流 Hub
比特米 R101x3 张量流 Hub
比特-M R101x3 伊马涅-21k 张量流 Hub
比特米 R50x1 张量流 Hub
比特-M R50x1 伊马根-21k 张量流 Hub
比特米 R50x3 张量流 Hub
比特-M R50x3 伊马涅-21k 张量流 Hub
位的 R101x1 张量流 Hub
位的 R101x3 张量流 Hub
位的 R50x1 张量流 Hub
位的 R50x3 张量流 Hub
DenSeNet PyTorch 中的
DenSeNet 161 PyTorch 中的
DenseNet ings PyTorch 中的
DenSeNet PyTorch 中的
效率网络 B0 张量流 Hub
效率网络 B0 精简版 张量流 Hub
效率网络 B1 张量流 Hub
效率网 B1 精简版 张量流 Hub
效率网络 B2 张量流 Hub
效率网 B2 精简版 张量流 Hub
效率网络 B3 张量流 Hub
效率网 B3 精简版 张量流 Hub
效率网 B4 张量流 Hub
效率网 B4 精简版 张量流 Hub
效率网 B5 张量流 Hub
效率网 B6 张量流 Hub
效率网 B7 张量流 Hub
Googlenet PyTorch 中的
ResResNet V2 张量流 Hub
初始版 V1 张量流 Hub
初始版 V2 张量流 Hub
初始版 V3 张量流 Hub
启动版 V3 预览 张量流 Hub
移动网络 V1 0.25 128 张量流 Hub
移动网络 张量流 Hub
移动网络 V1 0.25 192 张量流 Hub
移动网络 V1 0.25 224 张量流 Hub
移动网络 V1 0.50 128 张量流 Hub
移动网络 张量流 Hub
移动网络 V1 张量流 Hub
移动网络 V1 张量流 Hub
移动网络 V1 0.75 128 张量流 Hub
移动网络 张量流 Hub
移动网络 V1 0.75 192 张量流 Hub
移动网络 V1 0.75 224 张量流 Hub
移动网络 V1 1.00 128 张量流 Hub
移动网络 张量流 Hub
移动网络 V1 1.00 192 张量流 Hub
移动网络 V1 张量流 Hub
移动网 V2 张量流 Hub
移动网 V2 PyTorch 中的
移动网络 V2 张量流 Hub
移动网络 V2 张量流 Hub
移动网络 V2 张量流 Hub
移动网络 V2 张量流 Hub
移动网络 张量流 Hub
移动网络 张量流 Hub
ResNet 101 PyTorch 中的
ResNet 152 PyTorch 中的
ResNet 18 PyTorch 中的
ResNet 34 PyTorch 中的
ResNet 50 张量流 Hub
ResNet 50 PyTorch 中的
ResNet ity Hub 张量流 Hub
ResNet ity Hub 张量流 Hub
ResNet V1 张量流 Hub
ResNet ity Hub 张量流 Hub
ResNet ity Hub 张量流 Hub
ResNet V2 张量流 Hub
重新下一页 101 PyTorch 中的
重新下一页 50 PyTorch 中的
ShuffleNet V2 PyTorch 中的
SqueezeNet Net 0 PyTorch 中的
SqueezeNet Net 1 PyTorch 中的
VGG 11 PyTorch 中的
维格克 11 亿 PyTorch 中的
VGG-13 PyTorch 中的
维格克 13 十亿 PyTorch 中的
VGG 16 PyTorch 中的
伏特格 16 亿 PyTorch 中的
VGG PyTorch 中的
维格克 19 亿 PyTorch 中的
宽 ResNet 101 PyTorch 中的
宽 ResNet PyTorch 中的
Image Embedding Models

模型 精细
位-M R101x1 特征向量 张量流 Hub
比特-M R101x3 特征向量 张量流 Hub
比特 M R50x1 特征向量 张量流 Hub
比特-M R50x3 伊马涅-21k 张量流 Hub
位的 R101x1 特征向量 张量流 Hub
位的 R101x3 特征向量 张量流 Hub
位的 R50x1 特征向量 张量流 Hub
位的 R50x3 特征向量 张量流 Hub
效率网络 B0 特征向量 张量流 Hub
效率网络 B0 精简版特征向量 张量流 Hub
效率网络 B1 特征向量 张量流 Hub
效率网络 B1 精简版特征向量 张量流 Hub
效率网络 B2 特征向量 张量流 Hub
效率网络 B2 精简版特征向量 张量流 Hub
效率网络 B3 特征向量 张量流 Hub
效率网络 B3 精简版特征向量 张量流 Hub
效率网 B4 精简版特征向量 张量流 Hub
效率网络 B6 特征向量 张量流 Hub
初始版 V1 特征向量 张量流 Hub
初始版 V2 特征向量 张量流 Hub
初始版 V3 功能向量 张量流 Hub
初始版 V3 预览功能向量 张量流 Hub
移动网络 V1 0.25 128 特征向量 张量流 Hub
移动网络 V1 0.25 160 特征向量 张量流 Hub
移动网络 V1 0.25 192 特征向量 张量流 Hub
移动网络 V1 0.25 224 特征向量 张量流 Hub
移动网络 V1 0.50 128 特征向量 张量流 Hub
移动网络 V1 0.50 160 特征向量 张量流 Hub
移动网络 V1 0.50 192 特征向量 张量流 Hub
移动网络 V1 0.50 224 特征向量 张量流 Hub
移动网络 V1 0.75 128 特征向量 张量流 Hub
移动网络 V1 0.75 160 特征向量 张量流 Hub
移动网络 V1 0.75 192 特征向量 张量流 Hub
移动网络 V1 0.75 224 特征向量 张量流 Hub
移动网络 V1 1.00 128 特征向量 张量流 Hub
移动网络 V1 1.00 160 特征向量 张量流 Hub
移动网络 V1 1.00 192 特征向量 张量流 Hub
移动网络 V1 1.00 224 特征向量 张量流 Hub
移动网络 V2 0.35 224 特征向量 张量流 Hub
移动网络 V2 张量流 Hub
移动网络 V2 0.75 224 特征向量 张量流 Hub
移动网络 V2 1.00 224 特征向量 张量流 Hub
移动网络 V2 1.30 224 特征向量 张量流 Hub
移动网络 V2 1.40 224 特征向量 张量流 Hub
移动网络 V2 特征矢量 张量流 Hub
ResNet 征向量 张量流 Hub
特征向量 张量流 Hub
特征向量 张量流 Hub
ResNet V1 50 特征向量 张量流 Hub
特征向量 张量流 Hub
特征向量 张量流 Hub
特征向量 张量流 Hub
Object Detection Models

模型 精细
中心 张量流 Hub
中心网 1024x1024 关键点 张量流 Hub
512x512 张量流 Hub
中心网 512x512 关键点 张量流 Hub
中心信息网-V1-101 张量流 Hub
中心网树脂网-V1-50 张量流 Hub
中心网络信息网 V1-50 关键点 张量流 Hub
中心网树脂网-V2-50 张量流 Hub
中心网树脂网 V2-50 关键点 张量流 Hub
速度更快的 R-CNN 新闻网 V2 1024x1024 张量流 Hub
速度更快的 R-CNN 新闻网 V2 640x640 张量流 Hub
速度更快的 R-CNN 新闻网-101 V1 张量流 Hub
速度更快的 R-CNN 新闻网-101 V1 张量流 Hub
速度更快的 R-CNN 新闻网-101 V1 800x1333 张量流 Hub
速度更快的 R-CNN 树脂-152 V1 张量流 Hub
速度更快的 R-CNN 树脂-152 V1 张量流 Hub
速度更快的 R-CNN 树脂-152 V1 张量流 Hub
速度更快的 R-CNN 树脂-50 V1 1024x1024 张量流 Hub
速度更快的 R-CNN 树脂-50 V1 640x640 张量流 Hub
速度更快的 R-CNN 树脂-50 V1 800x1333 张量流 Hub
速度更快的 RCNN ResNet 101 V1D 葡萄肝病毒
更快的 RCNN 信 ResNet 50 V1b 葡萄肝病毒
FRCNN 移动网络 V3 大型 320 FPN PyTorch 中的
FRCNN 移动网 V3 大型 FPN PyTorch 中的
联邦有线电视 ResNet PyTorch 中的
视网膜固态硬盘树脂-101 1024x1024 张量流 Hub
视网膜固态硬盘树脂-101 640x640 张量流 Hub
视网膜固态硬盘树脂-152 张量流 Hub
视网膜固态硬盘树脂-152 张量流 Hub
视网膜固态硬盘树脂-50 1024x1024 张量流 Hub
视网膜固态硬盘树脂-50 张量流 Hub
SSD PyTorch 中的
固态硬盘 512 ResNet 葡萄肝病毒
固态硬盘效率 D0 张量流 Hub
固态硬盘效率 D1 张量流 Hub
SSD 效率 D2 张量流 Hub
SSD 效率 D3 张量流 Hub
固态硬盘效率 D4 张量流 Hub
固态硬盘效率 D5 张量流 Hub
固态硬盘移动网 1.0 葡萄肝病毒
固态硬盘移动网 张量流 Hub
SSD MobileNet V2 张量流 Hub
固态硬盘移动网 张量流 Hub
固态硬盘移动网 张量流 Hub
固态硬盘信 ResNet 葡萄肝病毒
固态硬盘巨型气象 16 亚力 300 葡萄肝病毒
固态硬盘巨型胶片 16 有色 512 葡萄肝病毒
YOLO V3 暗网 53 葡萄肝病毒
YOLO V3 移动网络 1.0 葡萄肝病毒

部署模型

当您从 JumpStart 部署模型时,SageMaker 会托管模型并部署可用于推理的端点。JumpStart 还提供了一个示例笔记本电脑,您可以在部署模型后使用该笔记本电脑进行访问。

模型部署配置

选择模型后,部署模型窗格打开。选择部署配置配置模型部署。

默认机器类型用于部署模型的依赖于模型。计算机类型是训练作业运行的硬件。在下面的示例中,ml.m5.large实例是此特定 BERT 模型的默认值。

您还可以更改终端节点名称.

微调模型

微调在新数据集上训练预训练的模型,而无需从头开始训练。此过程也称为转移学习,可以生成具有较小数据集和更少训练时间的精确模型。

微调数据源

微调模型时,您可以使用默认数据集或选择位于 S3 存储桶中的自己数据。

要浏览可供您使用的存储桶,请选择查找 S3 存储桶. 这些存储桶受到用于设置 Studio 帐户的权限的限制。您也可以通过选择输入 S3 存储桶位置.

提示

要了解如何格式化存储桶中的数据,请选择了解更多. 此外,模型的描述部分还包含有关输入和输出的详细信息。 

对于文本模型:

  • 存储桶必须具有 data.csv 文件。

  • 第一列必须是类标签的唯一整数。例如:1、2、3、4、n。

  • 第二列必须是字符串。

  • 第二列应具有与模型类型和语言相匹配的相应文本。 

对于视觉模型:

  • 存储桶的子目录数必须与类数相同。

  • 每个子目录都应包含属于该类的 .jpg 格式的图像。

注意

S3 存储桶必须位于同一Amazon您正在运行 SageMaker 工作室的区域,因为 SageMaker 不允许跨区域请求。

微调部署配置

推荐 p3 系列作为深度学习培训最快的产品,建议用于微调模型。下图显示了每种实例类型中 GPU 的数量。您可以从其他可用选项中进行选择,包括 p2 和 g4 实例类型。

实例类型 GPU
p3.2xlarge 1
p3.8xlarge 4
p3.16xlarge 8
p3dn.24xlarge 8

Hyperparameters

您可以自定义用于微调模型的培训作业的超参数。 

如果对文本模型使用默认数据集而不更改超参数,则会得到几乎相同的模型。对于视觉模型,默认数据集与用于训练预训练模型的数据集不同,因此您的模型因此不同。

您有以下超参数选项:

  • 纪元— 一个时代是整个数据集的一个循环。多个间隔完成一个批次,多个批次最终完成一个时代。多个周期运行,直到模型的精度达到可接受的水平,换句话说,当误差率降到可接受的水平以下时。

  • Learning rate (学习速率)— 值在各个周期之间应更改的量。随着模型的精细化,其内部权重将被推进,并检查误差率以查看模型是否有所改善。典型的学习率为 0.1 或 0.01,其中 0.01 是一个小得多的调整,可能会导致训练需要很长时间才能收敛,而 0.1 则大得多,并且可能导致训练过激。它是您可以为训练模型而调整的主要超参数之一。请注意,对于文本模型,学习率要小得多(BERT 为 5e-5)可以生成更精确的模型。

  • 批处理大小— 要为每个间隔选择的数据集中要发送到训练中可用的 GPU 的记录数。在图像示例中,您可能会发送每个 GPU 32 张图像,因此批量大小为 32 张。如果您选择具有多个 GPU 的实例类型,则该批次除以 GPU 数。建议的批量大小因您使用的数据和模型而异。例如,对图像数据进行优化的方式与处理语言数据的方式不同。在部署配置部分的实例类型图表中,您可以查看每个实例类型的 GPU 数量。从标准建议的批量大小开始(例如,32 对于视觉模型)。然后,将其乘以您选择的实例类型中的 GPU 数。例如,如果您正在使用p3.8xlarge,这将是 32(批量大小)*4(GPU),总计 128 作为根据 GPU 数量调整的批次大小。对于像 BERT 这样的文本模型,请尝试从批量大小 64 开始,然后根据需要进行减少。

训练输出

微调过程完成后,JumpStart 将提供有关模型的信息:父模型、培训作业名称、培训作业 Amazon 资源名称 (ARN)、培训时间和输出路径。输出路径是您可以在 S3 存储桶中找到新模型的位置。文件夹结构使用您提供的模型名称,模型文件位于/output子文件夹,并且它始终命名model.tar.gz

示例:s3://bucket/model-name/output/model.tar.gz