示例笔记本:使用您自己的算法或模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

示例笔记本:使用您自己的算法或模型

以下 Jupyter 笔记本演示如何从 Amazon SageMaker 笔记本实例使用您自己的算法或预训练模型。有关指向包含 TensorFlow、MXNet、Chainer 和 PyTorch 框架的预构建 Dockerfile 的 GitHub 存储库的链接以及有关使用说明的链接,请参阅Amazon SDK for Python (Boto3)在 SageMaker 学习器上运行您自己的训练算法以及在 SageMaker 托管服务上运行您自己的模型的评估程序用于深度学习的预构建 SageMaker Docker 镜像

设置

  1. 创建 SageMaker 笔记本实例。有关如何创建和访问 Jupyter笔 记本实例的说明,请参阅使用 Amazon SageMaker 笔记本实例.

  2. 打开您创建的笔记本实例。

  3. 选择SageMaker 示例选项卡查看所有 SageMaker 示例笔记本的列表。

  4. 高级功能部分或从 GitHub 使用提供的链接从 GitHub 中进行访问。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)

在 Scikit-Learn 中培训的主机模型

要了解如何通过将第一方 k-means 和 XGBoost 容器注入第一方 k-means 和 XGBoost 容器,托管在 SciKit 中训练的模型以在 SageMaker 中进行学习预测,请参阅以下示例笔记本。

封装 TensorFlow 和 Scikit-Learn 模型供 SageMaker 中使用

要了解如何打包在 TensorFlow 中开发的算法和 scikit-learn 框架,以便在 SageMaker 环境中进行训练和部署,请参阅以下笔记本。它们向您展示了如何使用 Dockerfile 构建、注册和部署您自己的 Docker 容器。

在 SageMaker 上训练和部署神经网络

要了解如何使用 MXNet 或 TensorFlow 在本地训练神经网络,然后从训练后的模型创建终端节点并将其部署在 SageMaker 上,请参阅以下笔记本。MXNet 模型经过训练,可以识别 MNIST 数据集中的手写数字。TensorFlow 模型经过训练,可以对虹膜进行分类。

使用管道模式训练

要了解如何使用 Dockerfile 构建调用train.py script并使用管道模式自定义训练算法,请参阅以下笔记本。在管道模式下,输入数据在训练时传输到算法。与使用文件模式相比,这可以减少训练时间。

自带 R 模型

要了解如何通过安装在笔记本中的 R 内核,使用 R 容器来训练和托管模型,请参阅以下笔记本。要充分利用AmazonSDK for Python (Boto3),我们使用笔记本中的 Python。您可以通过调用命令行参数在 R 中获得相同的结果。

扩展预构建的 PyTorch 容器映像

要了解在您具有预构建的 Docker 映像不支持的算法或模型的其他功能要求时如何扩展预构建的 SageMaker PyTorch 容器映像,请参阅以下笔记本。

在自定义容器上训练和调试培训作业

要了解如何使用 SageMaker 调试器训练和调试培训作业,请参阅以下笔记本。通过本示例提供的训练脚本使用 TensorFlow Keras resNet 50 模型和 CIFAR10 数据集。Docker 自定义容器使用训练脚本构建并推送至 Amazon ECR。在训练作业运行期间,调试器会收集张量输出并识别调试问题。与smdebug客户端库工具,你可以设置smdebug试用对象,该对象调用培训作业和调试信息,检查训练和调试器规则状态,并检索 Amazon S3 存储桶中保存的张量以分析训练问题。