基于多模态注意力的噪声事件分类模型

摘要：

如今,社交媒体因其低成本、易于访问和快速传播而成为人们获取新闻资讯和了解实时事件的主要渠道之一.社交媒体为分析特定事件提供了包含文本和图像等多种模态的信息,这其中包含了大量无关事件和虚假信息.为此,结合文本-图像对来判断文本和图像是否提供了与特定事件相关的信息,从而筛选出与之无关的噪声事件.由于文本中的描述往往与相对应的图像中的情景相关联,因此提出了一个基于多模态注意力的结合文本和图像信息的方法进行事件分类.该方法能很好地关注到文本和图像中的重要信息并促进不同模态的信息交互.在CrisisMMD数据集上的实验结果表明,该方法优于6种强的基线方法,证明了所提多模态注意力模型能够有效融合不同模态的特征,得到更优的联合表示.

关键词：注意力机制、多模态融合、噪声事件分类

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省高等学校自然科学研究面上项目;江苏高校优势学科建设工程资助项目

在线出版日期：2023-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：425-431