基于语义相关性分析的多模态摘要模型

摘要：

多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误.针对上述问题,提出一种基于语义相关性分析的多模态摘要模型.首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似.实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点.

关键词：多模态、生成式摘要、序列到序列、事实性错误、语义相关性

所属期刊栏目：44

分类号：TP391.1;TP391.41(计算技术、计算机技术)

在线出版日期：2024-01-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：65-72