一种基于多模态信息融合的火车司机疲劳驾驶检测方法

摘要：

单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题.针对上述问题,提出一种基于多模态信息融合的火车司机疲劳驾驶检测方法,通过机车视频监控系统与呼叫应答装置采集司机视频与语音信号,采用串行结构的stacking集成学习模型实现视频模态与语音模态之间的互补与融合,通过多折交叉验证提高非线性表达能力,降低泛化误差,利用随机子空间算法降低语音特征参数维度,以长短期记忆网络作为初级学习器,以梯度提升决策树作为次级学习器,最终实现司机疲劳状态的精准检测.实验结果表明,该方法疲劳检测正确率达到97.0％,相比采用单一语音特征和视频图像特征的检测方法,正确率分别提高了7.4％和1.17％.

关键词：多模态信息融合、疲劳驾驶检测、stacking集成学习、梯度提升决策树

所属期刊栏目：44

分类号：TP391.4(计算技术、计算机技术)

资助基金：科技部科技助力经济重点专项SQ2020YFF0403641

在线出版日期：2022-07-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：56-65