基于正向软标签的轻量级关系抽取

摘要：

针对关系抽取模型规模越来越大、耗时越来越长的问题,提出一种知识筛选机制,利用筛选出的正向软标签构造轻量级关系抽取模型.首先,利用知识蒸馏提取出知识并将其存储在软标签中,为避免知识蒸馏中教师与学生间差距大导致的知识难吸收问题,使用教师助手知识蒸馏模式;其次,使用标签的余弦相似度筛选出正向软标签,在每步蒸馏中都动态赋予正向软标签更高的权重,以此削弱知识传递中错误标签导致的影响.在数据集SemEval-2010 Task 8 上的实验结果表明,该模型不仅能完成轻量化关系抽取任务,还能提升抽取精度.

关键词：轻量级关系抽取、知识筛选、正向软标签、知识蒸馏、余弦相似度

所属期刊栏目：61

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：317-324