基于多模态融合的突发事件分类研究

摘要：

[目的/意义]针对突发事件分类研究中模态单一或缺失、分类效果不理想等问题,本文提出结合文本和图片特征信息,以多模态融合的方式对突发事件进行分类.[方法/过程]本文提出一种基于多模态融合的突发事件分类模型(Emergency Classification Model with Hybrid Fusion,ECMHF),由BERT联动BiLSTM构成的文本特征抽取分类模型、VGG19 为基础的图像特征抽取分类模型、融合文本描述特征和视觉语义特征的多模态融合层加上预测类别输出层组成的多模态分类模型 3 部分构成主体框架,最后将所有模型的决策层输出分配权重后再融合.[结果/结论]以收集的突发事件新闻数据为实验样本进行实证研究.结果表明,ECMHF模型在所有模型中性能最佳,F1 值达到最高的 99.072％,比次优模型高出0.51％.加入混合融合策略的ECMHF模型能够有效地识别出突发事件的类别.未来将在更为广泛和多元的突发事件多模态数据集中进行验证.

关键词：突发事件、多模态分类、混合融合、特征抽取

所属期刊栏目：43

分类号：D63;TP391.3(国家行政管理)

在线出版日期：2023-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：24-34