任务相似度引导的渐进深度神经网络及其学习

摘要：

持续学习旨在连续地学习多个任务,且在不发生灾难性遗忘的情况下,能够利用先前任务的知识帮助当前任务的学习.渐进神经网络是一种参数独立的持续学习方法,渐进地为每个任务分配额外的网络来提升持续学习的性能,但是这种方法未能直接利用任务间相似度的影响.而在持续学习过程中,通过对比任务间的相似度,并以此对先前任务的参数进行修剪再迁移可能会显著提高当前任务的性能.因此,提出了一种任务相似度引导的渐进深度神经网络(TSGPNN)及其学习方法,它包括了任务相似度评估和渐进学习两个阶段.其中,任务相似度评估阶段定义了一个参照值来衡量目标任务域之间的相似度,并以此作为任务间知识迁移量的参照;渐进过程通过吸收先前任务中的知识重新学习,以此提升学习新任务的能力.对CIFAR-100、MNIST-Permutation和MNIST-Rotation数据集做任务切分,实验表明,TSGPNN的性能与单任务学习、多任务学习和其他基准持续学习方法相比更好、更稳定.

关键词：灾难性遗忘、持续学习、深度网络、渐进神经网络

所属期刊栏目：17

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金61972181

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1126-1138