一种基于音视频信息的自动音乐记谱方法及系统

摘要：

本发明涉及一种基于音视频信息的自动音乐记谱方法及系统，所述方法包含：采集钢琴演奏的视频和音频数据；依据采集的视频信息用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息；将同步后的视频音符备选范围序列集和音频音符备选范围序列集取交集确定演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息。

专利类型：发明专利

申请/专利号：CN201210122443.9

申请日期：2012-04-24

公开/公告号：CN103377647A

公开/公告日：2013-10-30

主分类号：G10H1/00(2006.01)I

申请/专利权人:中国科学院声学研究所%北京中科信利技术有限公司

发明/设计人:周若华;颜永红;万玉龙

主申请人地址:100190 北京市海淀区北四环西路21号

专利代理机构:北京法思腾知识产权代理有限公司 11318

代理人:杨小蓉%杨青

国别省市代码:北京;11

权利要求：

一种基于音视频信息的自动音乐记谱方法，该方法采用多媒体技术自动完成钢琴弹奏者的音乐记谱，所述方法包含如下步骤：步骤101)录制并采集钢琴演奏的视频和音频数据，用于同步处理分析；步骤102)依据采集的视频信息采用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；步骤103)对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据所述的基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据音频采集信息获取钢琴弹奏的音符备选范围序列集，简称“音频音符备选范围序列集”；步骤104)将步骤102)获得的各个弹奏音符的所有手部位置信息和步骤103)获得的各弹奏音符的基频信息在时间上逐一进行对齐，并对对齐后的视频音符备选范围序列集和音频音符备选范围序列集取交集最终确定演奏者演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息，完成对钢琴演奏的自动音乐记谱；其中，所述弹奏时刻信息包含：各个音符的开始弹奏时刻及持续时间。