基于潜在语义的双层图像-文本多模态检索语义网络

摘要：

为提高多模态检索中相似性匹配的准确度,同时保持检索结果的可解释性,构建一种双层的多模态语义网络.对每个单模态的数据分别建立一个子语义网络,把子语义网络中的节点聚类成不同的分组.将子语义网络的分组作为节点,依据语义关系建立多模态语义网络,并进一步聚类成不同的分组.在进行信息检索时,按照与构建多模态语义网络相反的顺序即可检索到相关的信息.实验结果表明,与基于哈希索引、低秩矩阵嵌入和深度神经网络的检索方法相比,所提方法具有更高的检索准确性.

关键词：多模态、潜在语义、层次模型、聚类算法、跨模态检索、深度神经网络

所属期刊栏目：42

分类号：TP319(计算技术、计算机技术)

资助基金：河南省科技厅基金资助项目142102310524;河南省教育厅基金资助项目15A520081,17A520009,SKL-2016-1992,SKL-2016-1167

在线出版日期：2016-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：299-303,309