基于深度学习的多模态融合网民情感识别研究

摘要：

现有网民情感识别研究多基于文本这一单模态,缺乏结合网民所发的文本及附带的图片来识别网民情感的研究.本文基于深度学习设计多模态融合网民情感识别模型,利用词向量模型对文本进行表示,并构建BiLSTMs模型提取文本情感特征,构建基于迁移学习的微调CNNs提取图片情感特征;将提取的文本和图片情感特征进行特征层融合后,输入至SVM中,实现多模态融合网民情感识别,同时将构建的多模态融合网民情感识别模型(DNNs-SVM)与设计的基线模型做实验效果对比,基线模型分别是word2vec+BiLSTMs、BERT+BiLSTMs、CNNs、微调CNNs和DNNs.实验结果表明,融合文本和图片特征的多模态融合情感识别结果优于单模态情感识别结果,多模态融合DNNs-SVM模型均优于所设计的基线模型.

关键词：网民情感、多模态融合、情感识别、双向长短期记忆模型、微调卷积神经网络、网络舆情、舆情监测

所属期刊栏目：10

分类号：G350(情报学、情报工作)

资助基金：本文系国家自然科学基金"突发事件网民负面情感的模型检测研究";"基于时间感知模型的学术主题检索与演化挖掘研究";国家社会科学基金"基于社会网络分析的网络舆情主题发现研究"

在线出版日期：2020-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：39-48