知识感知的预训练语言模型综述

摘要：

随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据.概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现.在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望.

关键词：自然语言处理;知识表征;语义知识;预训练;语言模型

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划2017YFC0820702-3

在线出版日期：2021-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：18-33