结合有监督联合一致性自编码器的跨音视频说话人标注

摘要：

跨模态说话人标注旨在利用说话人的不同生物特征进行相互匹配和互标注,可广泛应用于各种人机交互场合.针对人脸和语音两种不同模态生物特征之间存在明显的“语义鸿沟”问题,该文提出一种结合有监督联合一致性自编码器的跨音视频说话人标注方法.首先分别利用卷积神经网络和深度信念网络分别对人脸图像和语音数据进行判别性特征提取,接着在联合自编码器模型的基础上,提出一种新的有监督跨模态神经网络模型,同时嵌入softmax回归模型以保证模态间和模态内样本的相似性,进而扩展为3种有监督一致性自编码器神经网络模型来挖掘音视频异构特征之间的潜在关系,从而有效实现人脸和语音的跨模态相互标注.实验结果表明,该文提出的网络模型能够有效的对说话人进行跨模态标注,效果显著,取得了对姿态变化和样本多样性的鲁棒性.

关键词：跨模态说话人标注、有监督联合自编码器、softmax回归模型、有监督神经网络模型

所属期刊栏目：40

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金61673185,61572205,61673186;福建省自然科学基金2017J01112;华侨大学中青年创新人才培育项目ZQN-309

在线出版日期：2018-11-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1635-1642