基于BERT模型与知识蒸馏的意图分类方法

摘要：

意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于B E RT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法.然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程.提出一种知识蒸馏意图分类方法,以预训练后的B E RT作为教师模型,文本卷积神经网络Text-CNN等小规模模型作为学生模型,通过生成对抗网络得到的大量无标签数据将教师模型中的知识迁移到学生模型中.实验数据包括基于真实场景下的电力业务意图分类数据集,以及通过生成对抗网络模型生成的大量无标签文本作为扩充数据.在真实数据和生成数据上的实验结果表明,用教师模型来指导学生模型训练,该方法可以在原有数据资源和计算资源的条件下将学生模型的意图分类准确率最高提升3.8个百分点.

关键词：意图分类、预训练模型、知识蒸馏、生成对抗网络、对话系统

所属期刊栏目：47

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;广东省科技计划项目;科技创新2030-"新一代人工智能"重大项目;2019年华为-中国科大基础系统软件联合创新项目

在线出版日期：2021-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：73-79