一种针对语音关键词分类网络的对抗样本攻击方法
本发明公开了一种针对语音关键词分类网络的对抗样本攻击方法，包括以下步骤：(1)按照训练策略选择训练数据以及训练的批大小的目标标签；(2)将数据以及标签输入到生成器G中，生成对抗扰动，并且构建相应的对抗样本；(3)将生成的对抗样本分别输入到判别器D和目标受害模型，得到相应的损失，并且计算相应的损失，更新网络的参数；(4)重复步骤(1)至步骤(4)，直到满足训练的停止条件，最终得到训练好的模型；(5)模型使用，加载模型参数，输入语音样本以及目标标签，即可快速的生成对抗样本。使用本发明提出的方法，能够实现实时场景下基于语音关键词分类网络应用的对抗样本攻击。
发明专利
CN202011196711.2
2020-10-30
CN112216273A
2021-01-12
G10L15/06(2013.01)
东南数字经济发展研究院
董理;黄其娟;杭小树;余水;王让定
324000 浙江省衢州市西区芹江东路288号1幢1601室
深圳紫晴专利代理事务所(普通合伙)
陈映辉
浙江;33
1.一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于，包括以下步骤： (1)按照训练策略选择训练数据以及训练的批大小的目标标签； (2)将数据以及标签输入到生成器G中，生成对抗扰动，并且构建相应的对抗样本； (3)将生成的对抗样本分别输入到判别器D和目标受害模型，得到相应的损失，并且计算相应的损失，更新网络的参数； (4)重复步骤(1)至步骤(4)，直到满足训练的停止条件，最终得到训练好的模型； (5)模型使用，加载模型参数，输入语音样本以及目标标签，即可快速的生成对抗样本。 2.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述步骤(1)中的目标标签由标签标量转化为标签向量的公式如下： 其中，ta是预设的目标标签，是预设目标标签的独热编码，W为目标高维矩阵，t是经过映射完的目标标签向量。 3.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述步骤(2)中的生成器采用1维卷积层的堆叠，并在最后一个卷积层后使用tanh激活函数，将生成器的输出约束在”-1，1”的范围内，所述生成器包括下采样和上采样的两个过程，下采样过程使用了8个一维卷积层，上采样过程使用了8个转置卷积成，并且在最后一个卷积层后使用了tanh激活函数，并且使用跳跃连接的方法连接下采样和上采样两个过程，所述对抗样本由如下的公式构建： x′＝x+G(x，t)#(2) 其中G(x，t)是生成的对抗扰动。 4.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述步骤(3)中的判别器由11个卷积块组成，除最后1个卷积块外每个卷积块都由1个一维卷积层，批归一化层，Leaky-ReLU激活函数构成。最后1个卷积块由1个一维卷积层和Leaky-ReLU激活函数构成。在卷积块后连接一个全连接层，最后通过softmax得到分类概率。 5.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述步骤(3)中计算损失的公式为： LG＝Lgan+αLadv+βL2#(3) 其中，LG是生成器总的损失；Lgan是判别器将对抗样本识别成正常样本的损失；Ladv是受害模型对生成的对抗样本的分类结果，即对抗样本被分类成目标标签的损失；L2是对抗样本与正常样本之间的二范数损失，α和β是损失的权重，控制对抗样本的攻击成功率和语音质量的参数。 6.根据权利要求4所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述Lgan的具体计算方法如下： 其中D(x′)是判别器对生成对抗样本的分类情况，表示求期望运算。 所述Ladv的具体计算方法如下： 其中lce是指目标受害网络的分类损失函数，ta表示预设的目标标签，fi表示第i个受害模型。 所述L2的具体计算方法如下： L2＝||x′-x||2#(6) 所述判别器的损失具体计算方法如下： 7.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述步骤(4)中得到的模型计算公式为： 其中G*为训练好的生成器，D*为训练好的判别器。 8.根据权利要求1所述的一种针对语音关键词分类网络的对抗样本攻击方法，其特征在于：所述目标标签的选择方法为：在网络训练时，随机选择不同的目标标签作为批训练的目标标签，批大小设为64，使用交替更新的方式训练生成器和判别器，首先固定判别器的参数，更新生成器的参数，然后固定生成器的参数，更新判别器的参数，网络训练的终止条件有两个，第一个是达到预设的训练次数，第二是5个训练次数内攻击成功了没有提升。具体的过程如下： 输入：目标标签ta，目标受害网络fi，训练数据集，超参数α，β，批大小m； 输出：训练好的生成器G*； 用Xavier初始化生成器和判别器的参数；加载目标受害网络的参数，并且固定其参数；D0 在训练集中随机获取m个原始样本和随机选择不同的m个目标标签。 通过公式(1)得到经过映射的目标标签。 通过公式(2)得到构建的对抗样本。 使用随机梯度更新生成器的参数： 使用随机梯度更新判别器的参数： WHILE满足结束条件。