基于概率图模型的多模态数据联合检索算法

摘要：

为了提高多模态检索的性能,提出一种多模态文档语义生成模型以及基于该模型的多模态数据联合检索算法.多模态文档语义生成模型认为文档中每个模态数据都是由相同的语义概念生成的,并且文档是多个模态数据的联合分布.为了简化模型的求解过程,假设各个模态数据之间的生成过程是相互独立的,于是可以对每个模态的条件概率进行单独计算.在多模态联合检索中,通过计算查询数据和待检索文档的联合概率来计算它们之间的相似度.实验结果表明,提出的方法与两步检索、语义索引和排序学习三种多模态检索方法相比具有更好的检索性能.此外,该方法可以扩展应用到具有三个及以上模态数据的文档联合检索中.

关键词：多模态检索、概率图模型、极大似然估计、产生式模型

所属期刊栏目：40

分类号：TN919-34;TP391

资助基金：中国博士后科学基金面上项目2014M560730;四川省科技厅应用基础项目2015JY0071;成都师范学院高层次引进人才专项科研项目YJRC2014-9;成都师范学院自然科学类培育项目CS14ZD02

在线出版日期：2017-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：33-37