深度学习 AMI
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

预处理

通过转换或扩增的数据预处理通常可以是一个绑定 CPU 的流程,而且这可以是您的整体管道中的瓶颈。框架具有用于图像处理的内置运算符,但 DALI(数据扩增库)通过框架的内置选项展示了改进的性能。

  • NVIDIA 数据扩增库 (DALI):DALI 将数据扩增卸载到 GPU。该项未预安装在 DLAMI 上,但您可以通过安装它或在您的 DLAMI 或其他 EC2 实例上加载支持的框架容器来访问它。有关详细信息,请参阅 NVIDIA 网站上的 DALI 项目页面

    提示

    观看此 GPU 技术会议网站上有关优化数据管道的实用视频。该视频提供了使用 DALI 插件的 MXNet、TensorFlow 和 Caffe2 的示例。

  • nvJPEG:一个面向 C 编程人员的 GPU 加速型 JPEG 解码器库。它支持解码单个图像或批处理以及深度学习中常见的后续转换操作。nvJPEG 具有内置 DALI,或者您可以从 NVIDIA 网站的 nvjpeg 页面下载并单独使用它。

您可能对有关 GPU 监控和优化的以下其他主题感兴趣: