一种基于自监督对比学习的半监督音频事件标注方法
本发明提出一种基于自监督对比学习的半监督音频事件标注方法，包括：提取无标注数据的梅尔对数能量谱特征，并对其做归一化；对每个频谱特征做两次随机增强生成两个特征；搭建自监督网络的编码器和投影层；计算样本输出间的相似度，通过排序确定正负样本；通过加强正负样本的对比训练网络；提取标注数据的梅尔对数能量谱特征，并对其做归一化；在训练好的编码器上加入新的分类器联合再训练；输出音频事件标注结果。本发明通过利用自监督对比学习，利用数据自身特点实现对无标注数据的监督学习，获得有效音频表征，然后利用少量标注数据再训练后生成音频中出现的事件类别。
发明专利
CN202110290710.2
2021-03-18
CN112820322A
2021-05-18
G10L25/51(2013.01)
中国科学院声学研究所
张鹏远;刘钰卓;颜永红
100190 北京市海淀区北四环西路21号
北京亿腾知识产权代理事务所(普通合伙)
陈霁
北京;11
1.一种基于自监督对比学习的半监督音频事件标注方法，其特征在于，包括以下步骤： 步骤1)、对用来训练自监督模型的无标注音频提取对数梅尔能量谱声学特征，并计算均值方差系数，对其做归一化； 步骤2)、对步骤1)的声学特征进行两次不同的数据增强； 步骤3)、构建两组结构相同的编码器和投影层，以步骤2)的声学特征分别作为输入，得到包含语义的高级音频表征； 步骤4)、计算一批数据中每两个音频表征的相似度；将每个音频与其他音频的相似度从小到大排序；由同一个音频增强的两个声学特征互为正样本，对每个音频相似度相对大的样本作为负样本； 步骤5)、加强正负样本高级表征的对比；通过减小正样本间的相似度，增大负样本间的相似度训练编码器和投影层； 步骤6)、对用来再训练全监督模型的标注音频提取对数梅尔能量谱声学特征，并计算均值方差系数，对其做归一化； 步骤7)、载入预训练的步骤3)的编码器，在其顶部构建分类器；以步骤6)的声学特征作为输入，以模型的分类输出与音频事件标注的损失最小化作为训练目标，训练网络； 步骤8)、利用步骤7)的网络输出音频事件标注结果。 2.根据权利要求1所述的方法，其特征在于，在步骤1)中，所述对用来训练自监督预训练模型的音频提取对数梅尔能量谱特征步骤，包括：对每个音频分别分帧加窗、对每一帧计算傅里叶变换得到频谱、计算通过梅尔滤波器提取的频谱，计算频谱的对数能量；此特征的维度为T×F，其中T为帧数，由窗长和窗移决定，F为频点数，由梅尔滤波器的数量决定。 3.根据权利要求1所述的方法，其特征在于，所述对步骤1)的声学特征进行两次不同的数据增强步骤，包括： 对每个音频的对数梅尔频谱分别做两次方法相同但参数随机的数据增强；数据增强方法为先对频谱加高斯噪声，再在时域和频域上分别对频谱加长度为t和f的掩码，其中t不超过25，f不超过15。 4.根据权利要求1所述的方法，其特征在于，所述构建两组结构相同的编码器和投影层步骤，包括：将步骤2)中得到的一组两个样本作为网络的输入，分别训练两组结构相同的编码器和投影层；所述编码器包括8层卷积神经网络模块，每层卷积神经网络模块由1层2维卷积、批归一化、上下文相关的门结构激活函数、随机失活(dropout)和2维平均池化组成；8层卷积核数目为(16，32，64，64,128,128,128,256)，8层池化在时、频域上的尺度分别为((2,2)，(2,2)，(2,2)，(2,2)，(2，2)，(2，2)，(1，2)，(1，2))；上下文相关的门结构激活函数表达式为 Y＝σ(ω·X+β)⊙X 其中，输入X的维数为B×C×T×F，B是批处理的大小，C是通道数，由上一层卷积核的数量决定；σ是sigmoid激活函数，⊙代表逐元素相乘，ω和β是可训练参数；Sigmoid激活函数表达式为 投影层包含一层非线性层和一层线性层，非线性层使用relu激活函数，其表达式为 5.根据权利要求1所述的方法，其特征在于，在步骤4)中，利用余弦相似度计算同一批次中每两个样本之间的相似度形成相似度矩阵；每两个样本A,B的余弦相似度表达式为 根据相似度对每个样本进行排序，依次作为锚样本；将从与锚样本从同一音频增强产生的样本作为正样本，与锚样本相似度最大的3/4样本作为负样本。 6.根据权利要求1所述的方法，其特征在于，在步骤5)中，通过增大锚样本xi与负样本xk间的距离，减小锚样本xi与正样本间xj的距离，实现对自监督中编码器和投影层的训练；损失函数表达式为 其中Nn为负样本的数量，τ是温度参数，通常设为常量0.5。 7.根据权利要求1所述的方法，其特征在于，在步骤6)中，对用来训练音频事件检测模型的标注音频提取对数梅尔能量谱特征，其步骤包括：对每个音频分别分帧加窗、对每一帧计算傅里叶变换得到频谱、计算通过梅尔滤波器提取的频谱，计算频谱的对数能量；此特征的维度为T×F，其中T为帧数，由窗长和窗移决定，F为频点数，由梅尔滤波器的数量决定。 8.根据权利要求1所述的方法，其特征在于，在步骤7)中，取步骤6)中的向量作为模型的输入，载入步骤3)中训好的编码器作为音频事件检测的特征提取器，加入两层非线性层作为分类器；第一层非线性层的激活函数为relu，第二层的激活函数为sigmoid；将减小分类器的输出结果与标注结果的差作为网络。 9.根据权利要求1所述的方法，其特征在于，在步骤8)中，将步骤6)中的特征作输入训好的步骤7)中的网络生成输出概率，经过二值判断后，产生音频事件标注结果。