自然语言场景下增量知识构造与遮蔽回放策略

摘要：

在增量学习中,随着增量任务的数量增多,模型在新增任务上训练后,由于数据分步偏移等一系列问题,模型对旧任务上所学到的知识发生灾难性遗忘,致使模型在旧任务上性能下降.对此,本文提出了基于知识解耦的类增量学习方法,分层次的学习不同任务共有知识与特有知识,并对这两种知识进行动态的结合,应用于下游的分类任务中.并在回放学习中运用自然语言模型的遮蔽策略,促进模型快速回忆起先前任务的知识.在自然语言处理数据集AGNews、Yelp、Amazon、DBPedia和Yahoo的类增量实验中,本文所提出的方法能有效降低模型的遗忘,提高在各个任务上的准确率等一系列指标.

关键词：增量学习、特征学习、自然语言处理

所属期刊栏目：32

分类号：H214;TP391;G250.73

资助基金：国家自然科学基金62172166

在线出版日期：2023-08-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：269-277