基于Sherman-Morrison公式的K-FAC算法

摘要：

二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一种近似自然梯度的有效方法.在K-FAC算法的基础上,结合拟牛顿方法的思想,提出了一种改进的K-FAC算法.在开始的少量迭代中利用K-FAC算法计算,在后续迭代中构造秩–1矩阵,通过Sherman-Morrison公式进行计算,大大降低了计算复杂度.实验结果表明,改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现.特别的,改进的K-FAC算法与K-FAC算法相比减少了大量的训练时间,而且与一阶优化方法相比,在训练时间上仍具有一定的优势.

关键词：深度学习、二阶优化方法、K-FAC算法、Sherman-Morrison公式、Fisher信息矩阵

所属期刊栏目：30

资助基金：国家自然科学基金11871051

在线出版日期：2021-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：118-124