基于知识蒸馏的企业命名实体识别模型

摘要：

BERT词嵌入模型能够解决简单命名实体识别模型预测精度低的问题,但基于BERT类的复杂词嵌入模型具有计算复杂度高、模型预测时间过长等缺陷.针对该问题,构建基于知识蒸馏的命名实体识别模型,将B E RT+CRF模型作为教师模型,获取较高的命名实体识别精度,并基于模型结构相似原则将BiGRU+CRF作为学生模型,在学生模型训练的过程中进行知识蒸馏.知识蒸馏根据教师模型Softmax层和学生模型Softmax层输出的标注概率矩阵分别作为教师模型的知识和学生模型的知识,通过均方损失函数计算教师模型知识与学生模型知识之间的差距,将获得的结果作为软标签误差,将学生模型预测的标签结果与真实标签之间的误差作为硬标签误差,总误差为软标签误差与硬标签误差的加权和,通过误差反向传播进行模型的训练,在减小总误差的同时缩小教师模型知识与学生模型知识之间的差距,使学生模型预测精度接近教师模型.最终使用学生模型进行预测,在接近教师模型预测精度的同时保证相对较短的预测时间.在DuIE2.0数据集上的实验结果表明,该命名实体识别模型在F1值损失2.6％的情况下,可使模型参数规模缩小93.7％,从而缩短了65.2％的运算时间.

关键词：知识蒸馏、命名实体识别、教师模型、学生模型、BERT模型

所属期刊栏目：49

分类号：TP18(自动化基础理论)

资助基金：国家重点研发计划;国家自然科学基金;湖北省技术创新专项

在线出版日期：2023-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：90-96