深度学习 AMI
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

训练

利用混合精度训练,您可以使用相同的内存量部署更大的网络,或者减少内存使用量(与您的单精度或双精度网络相比),并且您将看到计算性能增加。您还将受益于更小且更快的数据传输,这在多节点分布式训练中是一个重要因素。要利用混合精度训练,您需要调整数据转换和损失比例。以下是介绍如何针对支持混合精度的框架执行此操作的指南。

  • NVIDIA 深度学习开发工具包 - 有关 NVIDIA 网站的文档,介绍了 NVCaffe、Caffe2、CNTK、MXNet、PyTorch、TensorFlow 和 Theano 的混合精度实施。

提示

请务必针对您选择的框架检查网站,并且搜索“混合精度”或“fp16”,了解最新的优化方法。下面是可能对您有帮助的一些混合精度指南:

您可能对有关 GPU 监控和优化的以下其他主题感兴趣: