图文决策融合的多模态电商垃圾评价检测

摘要：

现有的电商垃圾评价检测方法大多基于对评价文本信息进行分析,难以有效检测带有图片的多模态垃圾评价,为充分利用评价的图片和文本内容,提出了基于Transformer双向编码表示(bidirectional encoder representa-tions from transformer,BERT)和宽残差网络(wide residual networks,WRN)的图文融合决策检测方法.该方法利用评价文本对经过预训练的BERT模型进行微调训练,经过表示学习分类得到文本评价类别向量,使用宽残差网络对评价图片进行特征提取和分类并输出图片类别向量,将得到的对应评价图文类别向量共同输入启发式决策融合分类器,对多模态评价整体进行预测分类.使用真实电商评价数据集进行实验表明,相比面向评价文本的分类方法,图文融合决策检测方法对多模态评价分类的精准率提高4.44％,召回率提高2.12％,Micro-F1提高3.67％,结果证实该方法能够对多模态垃圾评价进行有效检测.

关键词：多模态数据;垃圾评价;图文融合;预训练模型

所属期刊栏目：33

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金61772249

在线出版日期：2021-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1038-1046