基于SC-Attention机制的多模态讽刺检测研究

摘要：

[目的]针对现有多模态讽刺检测模型中存在预测准确率不高、多模态特征难以融合等问题,设计一种SC-Attention融合机制.[方法]采用CLIP和RoBERTa模型分别提取图像、图像属性和文本三种模态特征,经由SENet的注意力机制和Co-Attention机制结合构成的SC-Attention机制将多模态特征进行融合,以原始模态特征为引导,合理分配特征权重,最后输入全连接层进行讽刺检测.[结果]实验结果表明,基于SC-Attention机制的多模态讽刺检测的准确率为93.71％,F1值为91.68％,与基准模型相比,准确率提升10.27个百分点,Fl值提升11.50个百分点.[局限]模型的泛化性需要在更多数据集上体现出来.[结论]SC-Attention机制减少信息冗余和特征损失,有效提高多模态讽刺检测的准确率.

关键词：多模态、讽刺检测、SC-Attention机制、CLIP模型

所属期刊栏目：6

分类号：TP393;G250(计算技术、计算机技术)

资助基金：国家科学自然基金项目;中央高校基本科研业务费专项前瞻性发展策略研究基金项目

在线出版日期：2023-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：40-51