多模态混合注意力机制的虚假新闻检测研究

摘要：

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题,提出了一项新的虚假新闻检测技术(MAM).MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征;引入混合注意力机制模块进行文本与图像特征交互,该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息,又使用了双向的特征融合手段保证训练信息的完整性;加权融合多模态特征并将其输入全连接网络中进行真假新闻分类.对比实验结果表明:相比现有的多模态基准模型,该方法几乎在各个分类指标上都提高3个百分点左右,此外,可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力.

关键词：虚假新闻检测、多模态分析、注意力机制、特征融合

所属期刊栏目：59

分类号：TP183(自动化基础理论)

资助基金：国家社会科学基金;上海哲学社会科学规划课题

在线出版日期：2023-05-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：95-103