示例笔记本:使用您自己的算法或模型 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

示例笔记本:使用您自己的算法或模型

以下 Jupyter 笔记本演示如何从 Amazon SageMaker 笔记本实例使用您自己的算法或预训练模型。有关指向 GitHub 存储库的链接,其中包含 TensorFlow、MXNet、Chainer 和 PyTorch 框架的预构建 Dockerfile,以及使用 适用于 Python (Boto3) 的 AWS 软件开发工具包 评估程序在 SageMaker 学习器上运行自己的训练算法以及在 SageMaker 托管服务上运行自己的模型的说明,请参阅适用于 SageMaker、TensorFlow、Chainer 和 MXNet 的预构建的 PyTorch Docker 映像

Setup

  1. 创建 SageMaker 笔记本实例。有关如何创建和访问 Jupyter 笔记本实例的说明,请参阅使用 Amazon SageMaker 笔记本实例

  2. 打开您创建的 notebok 实例。

  3. 选择 SageMaker Examples (CloudWatch 示例) 选项卡以查看所有 SageMaker 示例笔记本的列表。

  4. 从笔记本实例的 Advanced Functionality (高级功能) 部分打开示例笔记本,或者使用提供的链接从 GitHub 打开。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)

Scikit-learn 中训练的主机模型

要了解如何通过将模型注入第一方 k-means 和 SageMaker 容器中,来托管在 Scikit-learn 中训练的用于在 XGBoost 中进行预测的模型,请参阅以下示例笔记本。

打包 TensorFlow 和 Scitkit-learn 模型以便在 SageMaker 中使用

要了解如何打包在 TensorFlow 中开发的算法以及在 SageMaker 环境中进行训练和部署的 scikit-learn 框架,请参阅以下笔记本。它们向您展示了如何使用 Dockerfile 构建、注册和部署您自己的 Docker 容器。

在 SageMaker 上训练和部署神经网络

要了解如何使用 MXNet 或 TensorFlow 在本地训练神经网络,然后从训练后的模型创建终端节点并将其部署到 SageMaker 上,请参阅以下笔记本。模型经过训练,可以识别 MNIST 数据集中的手写数字。MXNet模型经过训练,可以对虹膜进行分类。TensorFlow

使用管道模式进行训练

要了解如何使用 Dockerfile 构建调用 train.py script 并使用管道模式自定义训练算法的容器,请参阅以下笔记本。在管道模式下,输入数据在训练时传输到算法。与使用文件模式相比,这可以减少训练时间。

自带 R 模型

要了解如何通过安装在笔记本中的 R 内核,使用 R 容器来训练和托管模型,请参阅以下笔记本。为了充分利用 AWS 适用于 Python (Boto3) 的开发工具包,我们使用笔记本中的 Python。您可以通过调用命令行参数在 R 中实现相同的结果。

扩展预构建的 PyTorch 容器映像

要了解如何在具有预构建 Docker 映像不支持的算法或模型的其他功能要求时扩展预构建的 SageMaker PyTorch 容器映像,请参阅以下笔记本。

在自定义容器上训练和调试训练作业

要了解如何使用 SageMaker 调试程序 训练和调试训练作业,请参阅以下笔记本。通过此示例提供的训练脚本使用 TensorFlow Keras ResNet 50 模型和 CIFAR10 数据集。Docker 自定义容器使用训练脚本构建并推送到 Amazon ECR。在训练作业运行时,调试程序 收集张量输出并标识调试问题。使用 smdebug 客户端库工具,您可以设置调用训练作业和调试信息的 smdebug 试验对象,检查训练和 调试程序 规则状态,以及检索保存在 Amazon S3 存储桶中的张量以分析训练问题。