示例笔记本:使用您自己的算法或模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

示例笔记本:使用您自己的算法或模型

以下 Jupyter 笔记本演示如何从 Amazon SageMaker 笔记本实例使用您自己的算法或预训练模型。要了解 GitHub 存储库的链接,以及使用 TensorFlow、MXNet、Chainer 和 PyTorch 框架的预构建的 Dockerfile,以及有关使用Amazon SDK for Python (Boto3)估计器在 SageMaker 学习者上运行您自己的训练算法,并在 SageMaker 托管上运行您自己的模型,请参阅用于深度学习的预构建 SageMaker 码头映像

Setup

  1. 创建 SageMaker 笔记本实例。有关如何创建和访问 Jupyter笔 记本实例的说明,请参阅使用 Amazon SageMaker 笔记本实例

  2. 打开您创建的笔记本实例。

  3. 选择SageMaker 示例选项卡,查看所有 SageMaker 示例笔记本电脑的列表。

  4. 高级功能部分或从 GitHub 使用提供的链接。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)

接受 Scikit 学习培训的主机模型

要了解如何通过将 SageMaker 注入第一方 k 均值和 XGBoost 容器,托管在 SageMaker 中训练的模型以在 SageMaker 中进行预测,请参阅以下示例笔记本。

适用于 SageMaker 的封装 TensorFlow 和 SICITK-学习模型

要了解如何打包在 TensorFlow 中开发的算法和 scikit-learn 框架,以便在 SageMaker 环境中进行训练和部署,请参阅以下笔记本。它们向您展示了如何使用 Dockerfile 构建、注册和部署您自己的 Docker 容器。

在 SageMaker 上训练和部署神经网络

要了解如何使用 MXNet 或 TensorFlow 在本地训练神经网络,然后从训练后的模型创建终端节点并将其部署在 SageMaker 上,请参阅以下笔记本。MXNet 模型经过训练,可以识别 MNIST 数据集中的手写数字。TensorFlow 模型经过训练,可以对虹膜进行分类。

使用管道模式进行训练

要了解如何使用 Dockerfile 构建调用train.py script并使用管道模式自定义训练算法,请参阅以下笔记本。在管道模式下,输入数据在训练时传输到算法。与使用文件模式相比,这可以减少训练时间。

自带 R 模型

要了解如何通过安装在笔记本中的 R 内核,使用 R 容器来训练和托管模型,请参阅以下笔记本。要充分利用AmazonSDK for Python (Boto3) 的开发工具包,我们使用笔记本中的 Python。您可以通过调用命令行参数在 R 中获得相同的结果。

扩展预构建的 PyTorch 容器映像

要了解在您具有预构建的 Docker 映像不支持的算法或模型的其他功能要求时如何扩展预构建的 SageMaker PyTorch 容器映像,请参阅以下笔记本。

训练和调试自定义容器上的培训作业

要了解如何使用 SageMaker 调试器培训和调试培训作业,请参阅下面的笔记本。通过此示例提供的训练脚本使用 TensorFlow Keras 50 模型和 CIFAR10 数据集。Docker 自定义容器是使用培训脚本构建的,并将其推送到 Amazon ECR。在训练作业运行时,调试器会收集张量输出并识别调试问题。与smdebug客户端库工具,您可以设置smdebug试用对象,该对象调用培训作业和调试信息,检查培训和调试器规则状态,并检索保存在 Amazon S3 存储桶中的张量以分析培训问题。