融合语义增强的中文短文本分类方法研究

摘要：

中文短文本具有长度短以及上下文依赖强的特点.目前主流的基于词向量的双向循环神经网络分类方法依赖于词向量语义表达以及上下文特征提取能力,其分类准确率有待进一步改善.针对此问题,论文提出融合语义增强的中文短文本分类方法,该方法提出融合语义增强的思想,在词向量表示阶段,引入Bert生成融合字、文本以及位置的向量作为训练文本的词表征进行文本语义增强,接着输送到Bi-GRU网络中提取上下文关系特征,并通过多头注意力机制调整权值强化重要特征表达,最后使用softmax分类器进行文本分类.通过与其他主流方法进行对比论证,实验表明,论文提出的方法在短文本分类效果上有显著提升.

关键词：短文本分类、Bert、语义增强、Bi-GRU网络、多头注意力机制

所属期刊栏目：50

分类号：TP183(自动化基础理论)

资助基金：国网四川省电力公司信息通信公司项目SGSCXT00XGJS1800219

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：586-590