基于多尺度注意力特征融合CRNN的声音事件检测

摘要：

针对声音事件检测中仅在时频维度使用注意力机制的局限性以及卷积层单一导致的特征提取不足问题,本文提出基于多尺度注意力特征融合的卷积循环神经网络(convolutional recurrent neural network,CRNN)模型,以提高声音事件检测性能.首先,提出多尺度注意力模块,实现对局部时频单元和全局通道特征的多尺度注意,提高模型的特征选择能力;其次,提出一种多尺度特征融合方法,融合含有丰富上下文信息的多尺度注意力特征,提高模型的特征表达能力;最后,双向门控循环网络层对时间依赖性进行建模,全连接层对声音事件进行逐帧分类.除此之外,使用数据平衡技术进一步泛化模型.在AudioSet子数据集上的实验结果表明:提出的网络模型与CRNN相比,评估集(error rate,ER)下降11％,F1分数(F1-score,F1)提升8.3％,有效地提高了声音事件检测性能.

关键词：声音事件检测、多尺度特征融合、注意力机制、数据平衡

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;陕西师范大学中央高校基本科研业务费专项资金资助项目

在线出版日期：2022-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1271-1277