10.3969/j.issn.1000-1220.2021.02.024
融合多重注意力机制的卷积神经网络文本分类设计与实现
针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类.在池化层采用平均池化和最大池化相结合的方法,从而减少特征图的尺寸,避免过拟合现象的发生,最后使用softmax函数进行分类.本文在三个不同的中英文数据集上进行实验,同时设计注意力机制重要性对比实验,分析自注意力机制与CNN结合对文本分类效果提升的重要性,结果表明该分类模型有效地提高了分类的准确性.
自注意力机制、卷积神经网络、特征提取、文本分类
42
TP183(自动化基础理论)
国家自然科学基金项目;北京市教委科研计划项目;首都师范大学交叉科学研究院资助
2021-03-29(万方平台首次上网日期,不代表论文的发表时间)
共6页
362-367