基于注意力与多模态混合融合的谣言检测方法

摘要：

社交媒体内容结构具有复杂性,大量虚假信息掺杂在真实内容中,或者在真实图片上配以杜撰的文字内容,导致基于单个模态的方法难以有效检测谣言.提出基于注意力机制与Dempster's组合规则的混合融合方法.通过新增用户模态,提取文本、视觉和用户3个模态的特征向量,利用注意力机制对词语和视觉进行双向匹配,给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值.在前后期融合均加入注意力机制,实现特征和决策的自动加权,并使用Dempster's组合规则实现混合融合.在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明,该方法准确率分别达到97.44％和92.35％,准确率和F1-score指标均高于基准方法和多模态方法.

关键词：谣言检测;多模态融合;注意力机制;混合融合;Dempster’s组合规则

所属期刊栏目：47

分类号：TP181(自动化基础理论)

资助基金：四川省科技计划项目2019YFSY0032

在线出版日期：2021-12-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：71-77