面向图片识别的深度学习模型并行优化方法

摘要：

针对机器学习中的图片识别问题,结合已有的图片识别方法,在集群并行系统上对图片识别的并行优化方法进行研究.通过引入参数服务器机制,对分布式随机梯度下降算法中的参数更新机制进行了改进.一方面对Worker节点计算出的梯度进行稀疏化处理,以减少Worker节点和参数服务器节点之间的通信量;另一方面将参数服务器节点向Worker节点发送更新后的模型参数转换为参数服务器节点向Worker节点发送累积的梯度,然后对累积的梯度进行稀疏化处理,以进一步减少Worker节点和参数服务器节点之间的通信量.此外,为了解决由于稀疏化而引起的训练精度损失问题,引入了 一种应对动量损失的动量修正方法,以提升图片识别模型的精度.实验结果表明,与基本的异步随机梯度下降算法ASGD相比,本文并行优化方法在3种不同的压缩率下,对深度学习图片识别模型的训练速度平均可提高2.95倍,测试准确率平均提高了 4.6％.

关键词：深度学习、并行优化、参数服务器、图片识别

所属期刊栏目：57

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;兰州交通大学天佑创新团队资助项目;兰州市人才创新创业资助项目

在线出版日期：2023-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：141-151