一种自动编配伴奏和弦的方法
本发明公开了一种自动编配伴奏和弦的方法，包括特征提取、模型训练与和弦预测，其中，特征提取是对音乐音频数据的特征提取，针对不同乐器间泛音变化以及音色不均匀带来的和弦识别率低的问题，采用改进的音高级轮廓特征，引入高斯加窗和对数压缩算法，消除泛音以及多重音色带来的负面影响，该方法可增强模型鲁棒性，提高和弦识别率；模型训练需要标签标定与数据训练，通过伴奏音轨符号数据进行和弦信息提取，得到对应的和弦序列，构建为和弦标签文件，并与对应的增强型PCP主旋律特征向量一同输入至隐马尔可夫模型进行参数训练；和弦预测则将待识别的增强型PCP主旋律特征向量输入模型进行预测，最终生成和弦序列。
发明专利
CN202010370928.4
2020-05-06
CN111739491A
2020-10-02
G10H1/00(2006.01)
华南理工大学
韦岗;刘俊伟;曹燕
510640 广东省广州市天河区五山路381号
广州市华学知识产权代理有限公司
詹丽红
广东;44
1.一种自动编配伴奏和弦的方法，其特征在于，所述的方法包括下列步骤： S1、对MIDI音频数据进行预处理，删除其中打击乐器音轨，融合相同乐器音轨，得到新的音轨MIDI文件； S2、对MIDI文件分别提取主旋律音轨和伴奏音轨，并对两组音轨序列做C调归一化，对主旋律音轨通过格式转换，转变为主旋律音频数据，伴奏音轨格式保持不变； S3、对所述的主旋律音频数据进行傅里叶变换得到频谱特征，根据乐理中十二平均律，将频域内每个分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP音级轮廓特征，再通过高斯加窗，降低高低频权重影响，得到滤波后PCP主旋律特征向量；根据对数压缩算法，以一定压缩比例减小特征空间冗余度，得到增强型PCP主旋律特征向量； S4、提取所述的伴奏音轨的拍速、音长、音高、节奏、调号，通过拍速和节奏的计算，得到伴奏音轨的小节时长，从而将伴奏音轨分割成若干音乐小节；对每个音乐小节进行和声变换，得到和弦根音以及音程关系，该音程关系包括大调、小调，根据调号、和弦根音以及音程关系，构成该音乐小节的和弦序列，进而构建得到整个伴奏音轨的和弦序列；将伴奏音轨的和弦序列以XML的数据格式保存成和弦标签文件； S5、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦，该36种和弦包括三和弦、五和弦、九和弦、十一和弦、十三和弦以及各自的变形和弦，每个模型状态数为六种，分别是四个活动状态、开始状态和停止状态，其中活动状态的观测函数由单一带对角矩阵的高斯观测函数构成；然后将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中进行参数训练； S6、提取待识别的主旋律音频数据得到待识别的增强型PCP主旋律特征向量，将待识别的增强型PCP主旋律特征向量输入至已训练的隐马尔可夫模型，预测生成和弦序列。 2.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S2过程如下： S21、对MIDI文件使用高音轮廓线skyline算法提取主旋律音轨； S22、对MIDI文件使用低音轮廓线landline算法提取伴奏音轨； S23、对主旋律音轨和伴奏音轨序列分别进行C调归一化处理，保证调式统一； S24、对主旋律音轨进行WAV格式音频转换，用于进行增强型PCP主旋律特征提取； S25、伴奏音轨符号数据格式保持不变，用于构建模型的和弦标签文件。 3.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S3过程如下： S31、将主旋律音频数据通过重复分帧的方式，采用汉明窗函数，相邻两个窗相互重叠半帧长度，进行每窗以采样点数为N＝4096的滑动采样，从而通过傅里叶变换得到主旋律音频数据的能量频谱X(k)； S32、根据乐理中十二平均律，忽略高八度或低八度的影响，只考虑音乐中最低音阶组的十二个音级的频率值，将频域内每个分量与最低音级的频率值分别对应相除，得到十二个频率比，从而完成将分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP主旋律特征向量，公式如下： 其中frel是最低音阶组音级的参考频率值，最低音阶组包括音阶C1、D1、E1、F1、G1、A1、B1；fsr是采样频率，N代表采样点数，fsr/N表示傅里叶变换的变换频率间隔，表示频域中每一个分量的频率，因此表示分量与该音级的频率比，将所有对应同一音级频率值的分量根据公式(1)相加，得到十二维的PCP主旋律特征向量： PCPp＝∑k:p(k)＝p|Xk|2，p＝1,2,…,12 公式(2) 其中X(k)是主旋律音频数据经过傅里叶变换得到的能量频谱，k是傅里叶变换的分量索引，p是十二音级对应的序号； S33、以C4音值对应的频率值f＝261.6Hz为中心频率，进行高斯加窗过滤，公式如下： fsr是采样频率,PCPp是公式(2)得到的十二维PCP特征向量，通过中心频率相减后平方，再进行指数变换，减小高低频域的权重，进一步得到滤波后PCP主旋律特征向量； S34、将每一维滤波后PCP主旋律特征向量，除以对应音级所有八度频率分量值的总和，乘以一定压缩系数，再进行对数变换，对特征进行对数压缩，公式如下： 是公式(3)得到的滤波后的PCP主旋律特征向量，Ppsum是对应音级所有八度频率分量值的总和，求得比值并乘以η＝1000的压缩系数，加1求和再对数变换，进行特征的对数压缩，降低冗余度，得到增强型PCP主旋律特征向量。 4.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S5过程如下： S51、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦； S52、将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中； S53、假设特征彼此不相关，遍历所有的特征向量，状态转移遵循一介马尔可夫性质，统计和弦状态转移次数，和弦出现次数； S54、计算初始概率矩阵，状态转移概率矩阵，各状态观测函数的平均向量以及协方差矩阵，得到参数估计完成训练。 5.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S6过程如下： S61、提取待识别的主旋律音频数据得到待识别的增强型的PCP主旋律特征向量； S62、将待识别的增强型的PCP主旋律特征向量输入已训练的36个隐马尔可夫模型中，通过维特比算法在最大似然准则下找寻最优路径，得到最佳和弦序列。 6.根据权利要求2所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S23过程如下： 对主旋律音轨和伴奏音轨序列根据十二平均音律把八度内的音符平均分成12个半音，即C,#C,D,#D,E,F,#F,G,#G,A,#A,B，记音高为p，p对应取值为0-127，升降号调数为n，正数为升，反之为负；转调前的音值为T，转调后的音值为t，根据乐理中转调原理，对音高数进行模12求余计算，然后通过升降调数确定对应半音数的偏移值；偏移对应的音程后，以12为周期进行循环位移得到最小音值，既是对应的C调音名；同理，音值所在八度区间通过音高p除以12向下取整再减1得到。 7.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S1中，采用按照相同音轨事件起始时间升序排列的融合方式进行相同乐器音轨的融合。