二值网络的分阶段残差二值化算法

摘要：

二值网络在速度、能耗、内存占用等方面优势明显,但会对深度网络模型造成较大的精度损失.为了解决上述问题,本文提出了二值网络的"分阶段残差二值化"优化算法,以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合,提出了两种改进算法"带有近似因子的随机权重二值化"和"确定权重二值化",以及一种全新的"分阶段残差二值化"的BNN训练优化算法,以得到接近全精度神经网络的识别准确率.实验表明,本文提出的"分阶段残差二值化"算法能够有效提升二值模型的训练精度,而且不会增加相关网络在测试过程中的计算量,从而保持了二值网络速度快、空间小、能耗低的优势.

关键词：深度学习、二值网络、随机量化、高阶残差量化、分阶段残差二值化

所属期刊栏目：28

在线出版日期：2019-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：38-46