基于稀疏编码的多模态信息交叉检索

摘要：

目的 多模态信息交叉检索的根本问题是多模态数据的特征表示.稀疏编码是一种有效的数据特征表示方法,但是当查询数据和被检索数据来自不同模态时,数据间存在分布差异,相似的特征可能被编码为差异显著的稀疏表示,此时传统稀疏编码便不再适用.为此,提出了一种基于稀疏编码的多模态信息交叉检索算法.方法 采用最大均值差异(MMD)以及图拉普拉斯,并将二者加入到稀疏编码的目标函数中来充分利用多模态信息进行编码,模型求解采用特征符号搜索和离散线搜索算法逐个更新稀疏编码系数.结果 在Wikipedia的文本图像对数据上进行实验,并与传统稀疏编码进行比较,实验结果表明,本文算法使交叉检索的平均准确率(MAP)提高了18.7％.结论 本文算法增强了稀疏表示的鲁棒性,提高了多模态交叉检索的准确率,更适用于对多模态数据进行特征提取,并进行进一步的操作,如交叉检索、分类等.

关键词：多模态、交叉检索、稀疏编码、最大均值差异、图拉普拉斯

所属期刊栏目：20

分类号：TP391(计算技术、计算机技术)

资助基金：国家高技术研究发展计划863基金项目2014AA015104;教育部留学回国基金项目JZ2014JYLH0390;中央高校基本科研业务费专项基金JZ2014HGQC0132

在线出版日期：2015-10-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1170-1176