基于MacBERT-BiLSTM和注意力机制的短文本分类研究

摘要：

针对中文短文本上下文依赖性强,特征信息难以提取的问题,提出一种融合MacBERT、双向长短期记忆神经网络(BiLSTM)、注意力(Attention)机制的短文本分类模型方法.利用预训练模型MacBERT得到动态词向量,输入BiLSTM模型中提取上下文关系特征.结合注意力机制分配不同的权重值,最后使用Softmax分类器得到分类结果.研究表明,该模型在THUCNews数据集上F1 值达到了95.63%,相较于基准模型BERT提高了2.18%,验证了其在短文本分类任务中的可行性和有效性.

关键词：短文本、文本分类、MacBERT、BiLSTM、Attention、纠错掩码、特征加权、语义向量

所属期刊栏目：46

分类号：TN919-34

资助基金：湖北省重点研究项目;湖北省中央引导地方科技发展专项

在线出版日期：2023-11-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：123-128