训练
利用混合精度训练，您可以使用相同的内存量部署更大的网络，或者减少内存使用量（与您的单精度或双精度网络相比），并且您将看到计算性能增加。您还将受益于更小且更快的数据传输，这在多节点分布式训练中是一个重要因素。要利用混合精度训练，您需要调整数据转换和损失比例。以下是介绍如何针对支持混合精度的框架执行此操作的指南。
-
NVIDIA 深度学习开发工具包
- 有关 NVIDIA 网站的文档，介绍了 MXNet、PyTorch 和 TensorFlow 的混合精度实施。
提示
请务必针对您选择的框架检查网站，并且搜索“混合精度”或“fp16”，了解最新的优化方法。下面是可能对您有帮助的一些混合精度指南：
-
使用 TensorFlow 进行混合精度训练（视频）
- 在 NVIDIA 博客站点上。 -
结合使用 float16 与 MXNet 进行混合精度训练
- MXNet 网站上的常见问题解答文章。 -
NVIDIA Apex：用于使用 PyTorch 轻松进行混合精度训练的工具
- NVIDIA 网站上的博客文章。
您可能对有关 GPU 监控和优化的以下其他主题感兴趣：