预处理 - 深度学习 AMI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

预处理

通过转换或扩增的数据预处理通常可以是一个绑定 CPU 的流程,而且这可以是您的整体管道中的瓶颈。框架具有用于图像处理的内置运算符,但 DALI(数据扩增库)通过框架的内置选项展示了改进的性能。

  • NVIDIA 数据扩增库 (DALI):DALI 将数据扩增卸载到 GPU。该项未预安装在 DLAMI 上,但您可以通过安装它或在您的 DLAMI 或其他 Amazon Elastic Compute Cloud 实例上加载支持的框架容器来访问它。有关详细信息,请参阅 NVIDIA 网站上的 DALI 项目页面。有关示例用例和下载代码示例,请参阅 SageMaker 预处理训练性能示例。

  • nvJPEG:一个面向 C 编程人员的 GPU 加速型 JPEG 解码器库。它支持解码单个图像或批处理以及深度学习中常见的后续转换操作。nvJPEG 具有内置 DALI,或者您可以从 NVIDIA 网站的 nvjpeg 页面下载并单独使用它。

您可能对有关 GPU 监控和优化的以下其他主题感兴趣: