使用 Docker 容器构建模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 Docker 容器构建模型

Amazon SageMaker 广泛地将 Docker 容器用于各种构建和运行时任务。SageMaker 为其内置算法提供预构建的 Docker 映像以及支持的深度学习框架,用于训练和推理。使用容器,您可以快速可靠地训练机器学习算法并部署任意规模的模型。此部分中的主题展示了如何根据自己的使用场景部署这些容器。有关如何自带容器以用于 Amazon SageMaker Studio 的信息,请参阅自带 SageMaker 映像

使用 SageMaker 运行脚本、训练算法或部署模型的场景

在运行脚本、训练算法或部署模型时,Amazon SageMaker 始终使用 Docker 容器。您与容器的互动程度取决于您的使用场景。

将预构建 Docker 容器用于 SageMaker 的使用场景

将容器与 SageMaker 配合使用时,请考虑以下使用场景:

  • 预构建 SageMaker 算法 – 使用内置算法附带的映像。有关更多信息,请参阅使用 Amazon SageMaker 内置算法或预先训练模型

  • 带有预构建 SageMaker 容器的自定义模型 – 如果您训练或部署自定义模型,但所用框架中的预构建 SageMaker 容器包括 TensorFlow 和 PyTorch,请选择以下选项之一:

    • 如果您不需要自定义软件包,并且容器已包含所有必需的软件包:请使用与您的框架关联的预构建 Docker 映像。有关更多信息,请参阅 使用预构建的 SageMaker Docker 映像

    • 如果您需要安装到预建容器之一中的自定义软件包:请确认预构建的 Docker 映像允许 requirements.txt 文件,或者根据以下使用场景扩展预构建的容器。

扩展预构建 Docker 容器的使用场景

以下是扩展预构建 Docker 容器的使用场景:

  • 无法导入依赖项 – 扩展与您的框架关联的预构建 Docker 映像。请参阅扩展预构建容器了解更多信息。

  • 无法在预建容器中导入依赖项,并且预构建容器支持 requirements.txt – 在 requirements.txt 中添加所有必需的依赖项。以下框架支持使用 requirements.txt。

自行构建容器的使用场景

如果您构建或训练自定义模型,并且需要没有预构建映像的自定义框架,请构建一个自定义容器。

以下决策树阐释了前面列出的三种情况的信息:使用预构建 Docker 容器和 SageMaker 的使用场景扩展预构建 Docker 容器的使用场景自行构建容器的使用场景


                    选择构建自定义容器、扩展容器或使用预建容器的决策树。

作为客户使用场景示例,要训练和部署 TensorFlow 模型,请参阅前面的使用场景部分来决定需要哪种容器。以下是您在选择容器时需要考虑的注意事项:

确定所需的容器类型后,以下信息提供了之前列出选项的详细信息。

  • 使用内置的 SageMaker 算法或框架。对于大多数使用场景,您可以使用内置算法和框架而不必为容器费心。您可以从 Amazon Command Line Interface (Amazon CLI)、Python 笔记本或 Amazon SageMaker Python SDK 训练和部署这些算法。您可在创建估算器时,通过指定算法或框架版本来做到这一点。可用的内置算法将会分项列出,使用 Amazon SageMaker 内置算法或预先训练模型主题中对此进行了介绍。有关可用框架的更多信息,请参阅 ML 框架和语言。有关如何使用在 SageMaker 笔记本实例中运行的 Jupyter 笔记本训练和部署内置算法的示例,请参阅开始使用主题。

  • 使用预构建 SageMaker 容器映像。或者,您可以通过 Docker 容器使用内置算法和框架。SageMaker 为其内置算法提供容器,并为一些最常见的机器学习框架(例如 Apache MXNet、TensorFlow、PyTorch 和 Chainer)提供预构建的 Docker 映像。有关可用 SageMaker 映像的完整列表,请参阅可用的深度学习容器映像。它还支持 scikit-learn 和 SparkML 等机器学习库。如果您使用 Amazon SageMaker Python SDK,则可以通过将完整的容器 URI 传递给相应的 SageMaker SDK Estimator 类来部署容器。有关 SageMaker 当前支持的深度学习框架的完整列表,请参阅用于深度学习的预构建 SageMaker Docker 映像。有关 scikit-learn 和 SparkML 预构建容器映像的信息,请参阅适用于 Scikit-learn 和 Spark ML 的预构建 Amazon SageMaker Docker 映像。有关将框架与 Amazon SageMaker Python SDK 结合使用的更多信息,请参阅机器学习框架和语言中相应的主题。

  • 扩展预构建 SageMaker 容器映像。如果您想扩展预构建的 SageMaker 算法或模型 Docker 映像,您可以修改 SageMaker 映像以满足需求。有关示例,请参阅扩展 PyTorch 容器

  • 调整现有容器映像:如果您要调整现有的容器映像以用于 SageMaker,则必须修改 Docker 容器以启用 SageMaker 训练或推理工具包。有关说明如何构建您自己的容器来训练和托管算法的示例,请参阅使用自己的 R 算法