示例和更多信息:使用自己的算法或模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

示例和更多信息:使用自己的算法或模型

以下 Jupyter 笔记本和附加信息演示如何从 Amazon SageMaker 笔记本实例,使用您自己的算法或预先训练模型。GitHub 存储库中提供了 TensorFlow、MXNet、Chainer 和 PyTorch 框架的预构建 Dockerfile,以及使用 Amazon SDK for Python (Boto3) 估算器在 SageMaker 学习器上运行自己的训练算法和在 SageMaker 托管服务上运行自己的模型的说明。有关链接,请参阅用于深度学习的预构建 SageMaker Docker 映像

设置

  1. 创建 SageMaker 笔记本实例。有关如何创建和访问 Jupyter 笔记本实例的说明,请参阅 Amazon SageMaker 笔记本实例

  2. 打开您创建的笔记本实例。

  3. 选择 SageMaker 示例选项卡可查看所有 SageMaker 示例笔记本的列表。

  4. 您可以从笔记本实例的高级功能部分或从 GitHub 通过提供的链接打开示例笔记本。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)

托管在 Scikit-Learn 中训练的模型

要了解如何通过注入第一方 k-means 和 XGBoost 容器,从而托管在 Scikit-Learn 中训练的模型以在 SageMaker 中进行预测,请参阅以下示例笔记本。

封装 TensorFlow 和 Scikit-Learn 模型以在 SageMaker 中使用

要了解如何打包在 TensorFlow 中和 scikit-learn 框架开发的算法,以便在 SageMaker 环境中进行训练和部署,请参阅以下笔记本。这些笔记本向您展示了如何使用 Dockerfile 构建、注册和部署您自己的 Docker 容器。

在 SageMaker 上训练和部署神经网络

要了解如何使用 MXNet 或 TensorFlow 在本地训练神经网络,然后从训练后的模型创建端点并将其部署在 SageMaker 上,请参阅以下笔记本。MXNet 模型经过训练,可以识别 MNIST 数据集中的手写数字。TensorFlow 模型经过训练,可以对虹膜进行分类。

使用管道模式进行训练

要了解如何使用 Dockerfile 构建调用 train.py script 的容器并使用管道模式自定义算法的训练,请参阅以下笔记本。在管道模式下,输入数据在训练时传输到算法。与使用文件模式相比,这可以减少训练时间。

自带 R 模型

要了解如何添加自定义 R 映像以在 Amazon SMS 笔记本中构建和训练模型,请参阅以下博客文章。这篇博客文章使用了 SageMaker Studio 自定义映像示例的库中的 R Dockerfile。

扩展预构建的 PyTorch 容器映像

如果您对算法或模型具有其他功能要求,但预构建的 Docker 映像不支持这些要求,要了解如何扩展预构建的 SageMaker PyTorch 容器映像,请参阅以下笔记本。

有关扩展容器的更多信息,请参阅扩展预构建容器

在自定义容器上训练和调试训练作业

要了解如何使用 SageMaker Debugger 训练和调试训练作业,请参阅以下笔记本。通过本示例提供的训练脚本使用 TensorFlow Keras ResNet 50 模型和 CIFAR10 数据集。Docker 自定义容器使用训练脚本构建并推送至 Amazon ECR。在训练作业运行期间,Debugger 会收集张量输出并识别调试问题。使用 smdebug 客户端库工具,您可以设置 smdebug 试用对象,该对象调用训练作业和调试信息,检查训练和 Debugger 规则状态,并检索 Amazon S3 存储桶中保存的张量以分析训练问题。