深度学习的双人交互行为识别与预测算法研究

摘要：

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法.该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练.在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测.在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31％,并且也可完成对未知动作的初步预测.

关键词：视频分析、行为识别、行为预测、深度学习、卷积神经网络、长短期记忆网络、UT-interaction数据库、SBU Kinect interaction数据库

所属期刊栏目：15

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金项目;辽宁省自然科学基金项目;辽宁省教育厅科学研究服务地方项目;辽宁省教育厅科学研究青年项目

在线出版日期：2020-10-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：484-490