本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
训练
利用混合精度训练，您可以使用相同的内存量部署更大的网络，或者减少内存使用量（与您的单精度或双精度网络相比），并且您将看到计算性能增加。您还将受益于更小且更快的数据传输，这在多节点分布式训练中是一个重要因素。要利用混合精度训练，您需要调整数据转换和损失比例。以下是介绍如何针对支持混合精度的框架执行此操作的指南。
-
NVIDIA 深度学习 SDK
——NVIDIA 网站上描述了 MXnet 的混合精度实现的文档，和。 PyTorch TensorFlow
提示
请务必针对您选择的框架检查网站，并且搜索“混合精度”或“fp16”，了解最新的优化方法。下面是可能对您有帮助的一些混合精度指南：
-
混合精度训练 TensorFlow （视频）
-在 NVIDIA 博客网站上。 -
结合使用 float16 与 MXNet 进行混合精度训练
- MXNet 网站上的常见问题解答文章。 -
NVIDIA Apex：一款用于轻松进行混合精度训练的工具 PyTorch
——NVIDIA 网站上的一篇博客文章。
您可能对有关 GPU 监控和优化的以下其他主题感兴趣：