基于知识架构的持续学习情感分类方法

摘要：

当情感分类模型依次学习多个领域的情感分类任务时,从新任务中学到的参数会直接修改模型原有参数,由于缺少对原有参数的保护机制,降低了模型在旧任务上的分类准确率.为缓解灾难遗忘现象对模型性能的影响,并增加任务间的知识迁移,提出一种用于中文情感分类的基于知识架构的持续学习方法.在Transformer编码层中,采用任务自注意力机制为每个任务单独设置注意力变换矩阵,通过区分任务特有的注意力参数实现知识保留.在TextCNN的全连接层中,利用任务门控注意力(HAT)机制控制每个神经元的开闭,为每个任务训练特定的网络结构,仅激活对任务重要的神经元加强知识挖掘,提升分类效率与准确率.在JD21中文数据集上的实验结果表明,该方法的Last ACC和负类F1值相比于基于HAT的持续学习方法分别提升了0.37和0.09个百分点,具有更高的分类准确率,并且有效缓解了灾难遗忘现象.

关键词：持续学习、知识架构、情感分类、知识保留网络、知识挖掘网络

所属期刊栏目：49

分类号：TP183(自动化基础理论)

资助基金：新疆维吾尔自治区自然科学基金;新疆维吾尔自治区高校科研计划项目

在线出版日期：2023-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：112-118