基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测

摘要：

课程教学质量是衡量学校教学水平的一项核心内容,其教学效果可以从学生听课状态进行直观反映.为提升学生上课状态,督促课堂纪律,本文提出一种基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测的方法.首先,利用浙江农林大学监控视频进行手工标注图片,并利用数据增强方式增加图片规模,建立常见学生课堂行为数据集;然后,以预训练的Inception-ResNet-v2网络用于特征提取,目标检测框架选用Faster R-CNN,通过迁移学习方式实现对正常学习、 睡觉、 低头等课堂行为的检测;最后,通过多路特征融合方式,在拥有丰富语义信息的深层中融入更多细节信息的浅层特征,得到改进的学生课堂表现检测模型.实验结果显示:该模型的查准率均值可达76.32％,在原有算法基础上提升了12.22个百分点,取得较好的检测效果.该模型对学生课堂行为具有较高的查准率,表明多路特征融合的Faster R-CNN在学生课堂行为检测具有一定的应用前景,可为提高课堂教学质量提供新的参考.

关键词：课堂行为检测、Faster R-CNN、特征融合、迁移学习

所属期刊栏目：38

分类号：TP181(自动化基础理论)

资助基金：浙江省重点研发项目;浙江省科技计划项目

在线出版日期：2020-10-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1-11