基于神经网络的声音检测方法、工业声学检测系统及方法
本发明公开了一种基于卷积神经网络的声音检测方法，以及在工业上的应用，包括卷积神经网络模型的训练阶段和预测阶段，其中，在训练阶段，首先，对已标记标签的声音信号做预处理，将一定数量的声音信号转换为二维音频特征；然后，将所有二维音频特征作为样本，输入至未训练的卷积神经网络模型进行训练，获得具有训练好参数的卷积神经网络模型；在预测阶段，实时将获取的声音信号转换为二维音频特征，并输入至训练好的卷积神经网络模型，获取卷积神经网络模型输出的声音预测。提高了声音处理的预测准确率。应用该方法对工业产品异响进行检测，对工业异响数据集进行测试，预测准确率达到95％。
发明专利
CN202110431912.4
2021-04-21
CN113140229A
2021-07-20
G10L25/51(2013.01)
上海泛德声学工程有限公司
朱宝鹤;任百吉;孙永吉
201613 上海市松江区荣乐东路208弄9号9幢1层
上海诺衣知识产权代理事务所(普通合伙)
刘艳芝
上海;31
1.基于卷积神经网络的声音检测方法，其特征在于：包括卷积神经网络模型的训练阶段和预测阶段，其中，在训练阶段，首先，对已标记标签的声音信号做预处理，将一定数量的声音信号转换为二维音频特征；然后，将所有二维音频特征和标签作为样本，输入至未训练的卷积神经网络模型进行训练，获得具有训练好参数的卷积神经网络模型； 在预测阶段，实时将获取的声音信号转换为二维音频特征，并输入至训练好的卷积神经网络模型，获取卷积神经网络模型输出的声音预测。 2.根据权利要求1所述的基于卷积神经网络的声音检测方法，其特征在于：将一定数量的声音信号转换为二维音频特征的过程如下： 对声音信号设定时间长度进行分帧，得到N个声音片段，每一个声音片段即为一帧，对每一帧声音信号计算对数梅尔特征，将所有分帧的对数梅尔特征合成得到二维音频特征， 对数梅尔特征的计算方法如下所示： 每帧声音信号→傅里叶变换→取模→梅尔滤波器→对数变换→对数梅尔特征。 3.根据权利要求1所述的基于卷积神经网络的声音检测方法，其特征在于：卷积神经网络模型的训练流程如下： 步骤1、将已经标记过“正常”或“异常”标签的声音信号按比例划分为训练集和测试集； 步骤2、将训练集中的所有数据分批依次输入卷积神经网络模型，每输入一批数据计算一次模型输出值，利用输出值和标签计算损失函数值，应用损失函数值对卷积神经网络模型的参数进行一次更新，同时计算训练集预测准确率，输入完所有批次数据即完成一个训练周期； 步骤3、一个训练周期结束后，将测试集数据导入当前参数更新的卷积神经网络模型，计算测试集的预测准确率和损失函数值； 步骤4、重复执行步骤2、步骤3，直至预先设定的训练周期总数完成，获取具有训练好参数的卷积神经网络模型。 4.根据权利要求1所述的基于卷积神经网络的声音检测方法，其特征在于：卷积神经网络模型输出的声音预测过程如下： 将实时采集的声音信号转换为二维音频特征，输入训练好的卷积神经网络模型，输出一个概率值，该概率值范围为”0,1”，当概率值小于0.5时，预测为“正常”，否则，预测为“异常”。 5.根据权利要求1所述的基于卷积神经网络的声音检测方法，其特征在于：卷积神经网络模型的构建方法如下： 所述卷积神经网络模型由多个卷积层块、一个池化层和一个全连接层按顺序连接构成，其中，卷积层块是3路分支结构，分别是3ⅹ3卷积层、1ⅹ1卷积层和残差分支；3路分支各自经过批规范层后相加，由ReLU激活函数运算输出新的音频特征。 6.工业声学智能检测方法，其特征在于：首先，在工业现场获取一定数量的声音信号，并对所有声音信号标记标签；其次，对已标记标签的声音信号做预处理，转换为二维音频特征；然后，将所有二维音频特征和标签作为样本，输入至未训练的卷积神经网络模型进行训练，获得具有训练好参数的卷积神经网络模型；最后，应用训练好参数的卷积神经网络模型进行声音预测，实时将在工业现场获取的声音信号转换为二维音频特征，并输入至训练好参数的卷积神经网络模型，获取卷积神经网络模型输出的声音预测，判断工业现场的声音信号是否合格。 7.根据权利要求6所述的工业声学智能检测方法，其特征在于：在工业现场，通过声音采集装置获取一定数量的声音信号，并对所有声音信号进行人工标记标签，作为训练神经网络模型的声音样本。 8.工业声学智能检测系统，其特征在于：包括声音采集模块、信号处理模块、智能检测模块、控制模块、通信模块、显示模块；其中， 声音采集模块用于采集工业现场的模拟音频信号，进行模数转换，将数字音频信号输出至信号处理模块； 信号处理模块对数字音频信号进行声音信号预处理，将音频数据转变为二维音频特征，并将二维音频特征作为样本传递给智能检测模块； 智能检测模块对已标记标签的声音信号进行卷积神经网络模型的训练，并应用训练好的卷积神经网络模型对实时声音信号进行判断，并输出声音的判断结果； 控制模块用于控制工作流程以及各模块之间的协调工作； 通信模块用于与工业现场之间的数据交互； 显示模块用于显示参数设置界面、设置控制参数及显示检测结果。 9.根据权利要求8所述的工业声学智能检测系统，其特征在于：所述声音采集模块包括传声器、前置放大器、信号采集卡；所述传声器和前置放大器获取工业现场的模拟音频信号，信号采集卡根据接收到的控制指令及采集时间，采集由传声器和前置放大器传入的音频信号并转换成数字音频信号。 10.根据权利要求8所述的工业声学智能检测系统，其特征在于：所述通信模块接收自动化生产线PLC的“检测触发”信号，传给控制模块使之驱动声音采集模块采集声音信号，智能检测模块检测完成后，控制模块获取检测结果和“检测结束”信号，通过通信模块发送给PLC。 11.根据权利要求10所述的工业声学智能检测系统，其特征在于：所述通信模块包括网络端口、串口以及PLC软件通讯库，通信模块与工业现场PLC之间的数据交互采用串口或网络端口通信。