与 Amazon SageMaker 一起使用拥抱面 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

与 Amazon SageMaker 一起使用拥抱面

Amazon SageMaker 使客户能够在 SageMaker 上使用拥抱面部模型进行自然语言处理 (NLP) 培训、微调和运行推理。您可以使用 Hugging Face 中的数千种可用型号中的任何一种,并通过额外的培训来根据您的特定使用案例对其进行微调。使用 SageMaker,您可以使用标准培训或利用SageMaker 分布式数据和模型并行训练。您也可以通过,使用Amazon SageMaker 调试器。与其他使用自定义代码的 SageMaker 培训作业一样,您可以通过将指标定义传递给 SageMaker Python SDK 来捕获自己的指标,如定义训练指标(SageMaker Python 开发工具包)。捕获的指标随后可通过CloudWatch和作为一只熊猫DataFrame通过培训职业分析方法。训练和微调模型后,您可以像任何其他模型一样使用它来运行推理作业。

这个功能可以通过开发一个拥抱面深度学习容器。这些容器包括拥抱人脸变换器、标记器和数据集库,它们允许您将这些资源用于培训工作。有关可用 DLC 图像的列表,请参阅。可用的 Deep Learning Containers 映像

要将拥抱面部深度学习容器与 SageMaker Python 软件开发工具包一起使用,请参阅拥抱面对 SageMaker 估计。使用拥抱面部估计器,您可以像使用任何其他 SageMaker 估计器一样使用拥抱面部资源。

有关拥抱面及其中可用型号的详细信息,请参阅拥抱面部文档

如何使用拥抱面部估计器

您可以使用 SageMaker Python 软件开发工具包为培训作业实现拥抱面部估计器。SageMaker Python SDK 是一个开源库,用于在 SageMaker 上培训和部署机器学习模型。有关拥抱面部评估程序的更多信息,请参阅SageMaker Python 软件开发工具包文档。

借助 SageMaker Python 开发工具包,您可以在以下环境中使用拥抱人脸评估程序运行训练作业:

  • SageMaker Studio:Amazon SageMaker 工作室是第一个用于机器学习 (ML) 的完全集成的开发环境 (IDE)。SageMaker Studio 提供了一个基于 Web 的单一可视化界面,您可以在其中执行准备、构建、培训和调整、部署和管理模型所需的所有 ML 开发步骤。有关在 Studio 中使用 Jupyter 笔记本的信息,请参阅。使用 Amazon SageMaker Studio 笔记本

  • SageMaker Notebook:Amazon SageMaker 笔记本实例是一个运行 Jupyter 笔记本应用程序的机器学习 (ML) 计算实例。该应用程序允许在您的笔记本实例中运行 Jupyter Notebook 以准备和处理数据,编写代码以训练模型,部署模型到 SageMaker 托管,以及测试或验证模型,而不使用 SageMaker Studio 功能,例如调试程序和基于 Web 的 IDE。

  • 在本地:如果您已连接到 AWS 并且拥有相应的 SageMaker 权限,则可以在本地使用 SageMaker Python 软件开发工具包为 AWS 上的 SageMaker 中的拥抱面部启动远程培训和推理作业。

您需要做什么?

以下 Jupyter 笔记本说明了如何在各种用例中使用拥抱面部估计器和 SageMaker 一起使用。

我想在使用 PyTorch 的 SageMaker 中使用拥抱面来训练一个文本分类模型。

有关示例 Jupyter 笔记本,请参阅PyTorch 入门

我想使用 TensorFlow 在 SageMaker 中的拥抱面来训练一个文本分类模型。

有关示例 Jupyter 笔记本,请参阅TensorFlow 入门示例

我想使用拥抱面部和 SageMaker 分布式运行具有数据并行性的分布式培训。

有关示例 Jupyter 笔记本,请参阅分布式训练示例

我想使用拥抱面和 SageMaker 分布式模型并行性运行分布式培训。

有关示例 Jupyter 笔记本,请参阅模型并行度示例

我想使用竞价型实例在 SageMaker 中使用拥抱面训练模型。

有关示例 Jupyter 笔记本,请参阅竞价型实例示例

在 SageMaker 中使用拥抱面部训练文本分类模型时,我想捕获自定义指标并使用 SageMaker 检查点。

有关示例 Jupyter 笔记本,请参阅使用自定义指标的训练示例

我想在 SageMaker 中使用拥抱面训练一个分布式问题回答 TensorFlow 模型。

有关示例 Jupyter 笔记本,请参阅分布式 TensorFlow 训练示例