音频标记一致性约束CRNN声音事件检测

摘要：

级联卷积神经网络(CNN)结构和循环神经网络(RNN)结构的卷积循环神经网络(CRNN)及其改进是当前主流的声音事件检测模型.然而,以端到端方式训练的CRNN声音事件检测模型无法从功能上约束CNN和RNN结构的作用.针对这一问题,该文提出了音频标记一致性约束CRNN声音事件检测方法(ATCC-CRNN).该方法在CRNN模型的声音事件分类网络中添加了CRNN音频标记分支,同时增加了CNN音频标记网络对CRNN网络CNN结构输出的特征图进行音频标记.然后,通过在模型训练阶段限定CNN和CRNN的音频标记预测结果一致使CRNN模型的CNN结构更关注音频标记任务,RNN结构更关注建立音频样本的帧间关系.从而使CRNN模型的CNN和RNN结构具备了不同的特征描述功能.该文在IEEE?DCASE?2019国际竞赛家庭环境声音事件检测任务(任务4)的数据集上进行了实验.实验结果显示:提出的ATCC-CRNN方法显著提高了CRNN模型的声音事件检测性能,在验证集和评估集上的F1得分提高了3.7％以上.这表明提出的ATCC-CRNN方法促进了CRNN模型的功能划分,有效改善了CRNN声音事件检测模型的泛化能力.

关键词：声音事件检测、音频标记、深度学习、卷积循环神经网络

所属期刊栏目：44

分类号：TN912.3;TP391.4

资助基金：国家自然科学基金;重庆市自然科学基金

在线出版日期：2022-04-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1102-1110