改进的SemBERT特征重组模型

摘要：

SemBERT模型实现了对BERT模型的提升,但存在两个明显的缺陷.第一,模型获得向量表示的能力不足.第二,没有从特征的种类出发,直接使用传统特征进行任务分类.针对这两个缺陷,提出了一种新的特征重组网络.该模型在SemBERT内部添加自注意力机制,外接特征重组机制,得到更好的向量表示并且重新分配特征权重.实验数据表明新的方法在MRPC数据集上比经典的SemBERT模型在F1值上提高了1％.实现在小数据集上的明显提升,并且超越了大多数优秀模型.

关键词：特征重组、向量表示、自注意力机制、特征权重、深度学习、自然语言处理

所属期刊栏目：31

分类号：TP391;F270;O641

资助基金：广东省自然科学基金2020A1515010445

在线出版日期：2022-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：207-214