融合多头自注意力机制的中文分类方法

摘要：

中文文本分类任务中,深度学习神经网络方法具有自动提取特征、特征表达能力强的优势,但其模型可解释性不强.提出了一种Text-CNN+Multi-Head Attention模型,引入多头自注意力机制克服Text-CNN可解释性的不足.首先采用Text-CNN神经网络,高效提取文本局部特征信息;然后通过引入多头自注意力机制,最大限度发挥Text-CNN的并行运算能力,强调文本序列全局信息的捕捉;最后在时间和空间上完成对文本信息的特征提取.实验结果表明,提出的模型较其他模型在保证运算速度的同时,准确率提升了1％～2％.

关键词：中文文本分类、Text-CNN、Multi-Head Self-Attention

所属期刊栏目：43

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2020-09-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：125-130