基于深度迁移学习的钢琴演奏手势识别技术研究

摘要：

应用传感器实现钢琴教学时,为随时获取钢琴演奏者的演奏手势是否规范,需要合理的钢琴演奏手势识别技术,为此提出基于深度迁移学习的钢琴演奏手势识别技术研究.采用IU-EKF算法实现钢琴演奏手势的定姿,获取演奏者的演奏手势姿态,将该演奏手势信息作为数据样本,利用ME MS惯性传感器采集钢琴演奏手势姿态数据,并通过状态空间模型做出手势姿态估计.以该模型为基础,利用多特征提取方法,获取手势特征,并对不同特征作出归一化处理,将处理后的结果输入到极限学习机(VGG-16)网络模型中,通过该模型的深度迁移学习与训练,实现钢琴演奏手势的识别.经实验验证:该方法能有效提取演奏者手背、手指下关节、手指上关节的各角度特征,且相较于其他方法该方法具有较高的识别精度,能够在不同的时间有效识别手指上、下关节俯仰角的变化情况.

关键词：深度迁移学习、钢琴演奏手势、手势识别、VGG-16、惯性传感器、融合定姿

所属期刊栏目：38

分类号：TP543.6

资助基金：阜阳幼儿师范高等专科学校校级质量工程项目MOOC;ZLGC2019MOOC001

在线出版日期：2023-02-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1-7,13