用于文本分类的CNN_BiLSTM_Attention混合模型
文本分类是许多自然语言处理任务的基础.卷积神经网络可以提取文本的短语级特征,但是不能很好地捕获文本的结构信息;循环神经网络可以提取文本的全局结构信息,但是对关键模式信息捕获能力不足;而注意力机制能够学习到不同词或短语对文本整体语义的分布,关键的词或短语会被分配较高的权重,但是同样对全局结构信息不敏感.另外,现有模型大多只考虑词级信息,而忽略了短语级信息.针对上述模型中存在的问题,文中提出一种融合CNN,RNN,Attention的混合模型,该模型同时考虑不同层次的关键模式信息和全局结构信息,并把它们融合起来得到最终的文本表示,最后把文本表示输入softmax层进行分类.在多个文本分类数据集上进行了实验,实验结果表明该模型相较于现有模型可以实现更高的准确率.此外,还通过实验分析了模型的不同组件对模型性能的影响.
文本分类、关键模式信息、全局结构信息、混合模型、文本表示
47
TP391.1(计算技术、计算机技术)
提升政府治理能力大数据应用技术国家工程实验室开放基金
2020-12-03（万方平台首次上网日期，不代表论文的发表时间）
共6页
23-27,34
