基于本地蒸馏联邦学习的鲁棒语音识别技术

摘要：

当联邦学习(FL)算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布(Non-IID)与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习(PLD-FLD)算法.客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题.在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91％,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性.

关键词：鲁棒语音识别、联邦学习、本地蒸馏、非独立同分布、分布式训练

所属期刊栏目：48

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;网信融合项目

在线出版日期：2022-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：103-109