基于语料关联生成的知识增强型BERT

摘要：

以BERT为代表的自然语言预训练模型由于缺少专业领域知识支持导致准确度受到限制,知识增强型BERT模型通过引入外部专业知识有效改善了模型在不同领域下游任务中的知识缺失问题,取得了比BERT模型更高的准确率.但是,知识增强型BERT由于引入大规模外部知识,导致计算资源需求和训练时间急剧攀升.针对此问题,提出一种基于语料关联生成(corpus association generation,CAG)的知识增强方法,通过实体名词识别将输入文本语料拆解为顺序序列的字词集合与实体名词集合,字词集合通过实体名词与外部知识三元组进行语义关联;然后,基于语义关联进一步拼接生成蕴含外部知识的强相关性语料;最后,利用BERT模型结构将蕴含外部知识的强关联语料注入至下游任务进行知识增强.该方法可有效避免引入额外模型结构而导致的模型复杂度提升,从而有效降低模型训练计算量.以LCQMC、XNLI等6个公开数据集进行实验分析,结果表明在下游任务中知识引入阶段与训练计算阶段的平均耗时比K-BERT分别降低53.5％与37.4％.

关键词：自然语言处理、预训练模型、知识增强、语料生成、训练加速

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;广东省自然科学基金面上项目;广东省自然科学基金面上项目;广东省基础与应用基础研究基金项目;佛山市核心技术攻关项目;广东省重点领域研发计划项目;广东省重点领域研发计划项目

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：732-741