基于哈希算法的异构多模态数据检索研究

摘要：

随着大数据时代的发展,网络上的文本、图像、视频、音频等异构多模态数据呈指数级增长.在海量数据中进行异构多模态数据的检索,成为了热门的研究方向.但是,异构多模态数据检索面临两大挑战:1)数据存在"语义鸿沟",即如何表达异构多模态数据之间的相似性;2)在海量数据中,如何进行准确高效的检索.针对哈希检索算法忽略了异构多模态数据之间语义一致性的问题,文中提出了一种基于CCA(典型相关性分析)语义一致性的哈希检索算法(CCA-SCH).该算法为了保持模态内的语义一致性,分别生成文本和图像数据的语义模型;为了保持模态间的语义一致性,通过CCA算法融合文本和图像语义,生成最大相关矩阵;同时引入瞊2,ρ范式来减少原始数据集的噪声和冗余信息,使哈希函数具有更好的鲁棒性.实验结果表明,CCA-SCH算法在实验数据集上的均值平均准确率(Map)相较于基准算法提升了10％ 以上,体现了该算法更好的检索性能.

关键词：哈希函数、语义一致性、CCA算法、异构多模态

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61762009

在线出版日期：2019-11-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：49-54