视听觉跨模态表面材质检索

摘要：

针对文本图像特征有时无法满足对物体材质进行真实准确分析的情况,本文在视听领域使用跨模态检索方法进行表面材质检索.首先提取声音的梅尔频率倒谱系数(MFCC)特征,使用卷积神经网络(CNN)提取图像特征,然后利用典型相关分析将两种特征映射到子空间并用欧氏距离进行检索,并在慕尼黑工业大学触觉纹理数据集上进行实验验证,实现了使用声音检索图像的跨模态检索过程.实验结果表明,所提出的方法在材质检索方面有较好应用效果.

关键词：跨模态检索、特征提取、典型相关分析、子空间映射、材质分析、卷积神经网络、梅尔频率倒谱系数、欧式距离

所属期刊栏目：14

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目U1613212;河北省自然科学基金项目E2017202035

在线出版日期：2019-08-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：423-429