基于知识蒸馏与模型集成的事件论元抽取方法

摘要：

目前先进的事件论元抽取方法通常使用BERT模型作为编码器,但BERT巨大的参数量会降低效率,使模型无法在计算资源有限的设备中运行.提出一种新的事件论元抽取方法,将事件论元抽取教师模型蒸馏到2个不同的学生模型中,再对2个学生模型进行集成.构造使用BERT模型和图卷积神经网络的事件论元抽取教师模型,以及2个分别使用单层卷积神经网络和单层长短期记忆网络的学生模型.先通过均方误差损失函数对学生模型和教师模型的中间层向量进行知识蒸馏,再对分类层进行知识蒸馏,使用均方误差损失函数和交叉熵损失函数让学生模型学习教师模型分类层的知识和真实标签的知识.在此基础上,利用加权平均的方法对2个学生模型进行集成,从而提升事件论元抽取性能.使用ACE2005英文数据集进行实验,结果表明,与学生模型相比,该方法可使事件论元抽取F1值平均提升5.05个百分点,推理时间和参数量较教师模型减少90.85％和99.25％.

关键词：事件论元抽取、知识蒸馏、模型集成、预训练语言模型、模型压缩

所属期刊栏目：48

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;江苏省高等学校自然科学研究面上项目

在线出版日期：2022-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：97-103