基于视频场景深度学习的人物语义识别模型

摘要：

为有效分析和整合与人物行为相关的视频语义线索,提出一种基于视频场景深度学习的人物语义识别模型.该模型由中层语义特征提取、多通道语义特征融合、整体精调和语义识别等组成.首先实现底层图像到中层特征抽取,利用卷积神经网络算法并行获取视频场景关键帧集中的人物身份、人物行为、上下文环境等通道语义;再将中层特征融合到同一个语义融合层,通过多层语义卷积神经网络来整合上述语义,使用损失函数来学习不同通道语义之间的潜在关系,提高人物语义融合的鲁棒性;最终通过大间隔的损失函数来精调整个网络的参数,利用SVM分类器完成视频人物语义识别.实验结果表明,该模型在特定的数据集上具有较高的准确率,能够高效地识别视频人物语义.

关键词：视频挖掘、深度学习、卷积神经网络、人物语义、支持向量机

所属期刊栏目：28

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金61501253;江苏省基础研究计划自然科学基金项目BK20151506;江苏省"六大人才高峰"第十一批高层次人才选拔培养资助项目XXRJ-009;江苏省重点研发计划社会发展项目BE2016778;江苏省2016年度普通高校研究生实践创新计划项目SJLX160327;南京邮电大学科研项目NY217054

在线出版日期：2018-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：53-58