知识增强型预训练语言模型综述

摘要：

知识增强型预训练语言模型旨在利用知识图谱中的结构化知识来强化预训练语言模型,使之既能学习到自由文本中的通用语义知识,又能够学习到文本背后的现实实体知识,从而有效应对下游知识驱动型任务.虽然该方向研究潜力巨大,但相关工作目前尚处初期探索阶段,并未出现全面的总结和系统的梳理.为填补该方向综述性文章的空白,在归纳整理大量相关文献的基础上,首先从引入知识的原因、引入知识的优势、引入知识的难点三方面说明了知识增强型预训练语言模型产生的背景信息,总结了其中涉及的基本概念;随后列举了利用知识扩充输入特征、利用知识改进模型架构以及利用知识约束训练任务等三大类知识增强方法;最后统计了各类知识增强型预训练语言模型在评估任务上的得分情况,分析了知识增强模型的性能指标、目前面临的困难挑战以及未来可能的发展方向.

关键词：知识图谱、预训练语言模型、自然语言处理

所属期刊栏目：16

分类号：TP18(自动化基础理论)

资助基金：行与分布处理重点实验室PDL;科技开放基金;科技开放基金

在线出版日期：2022-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共23页

页码：1439-1461