自然语言处理预训练技术综述

摘要：

在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程.为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于B E RT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向.旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路.

关键词：预训练技术;自然语言处理;神经网络

所属期刊栏目：15

分类号：TP18(自动化基础理论)

资助基金：北方民族大学中央高校基本科研业务费专项;国家自然科学基金;国家民委"图像与智能信息处理"创新团队项目;北方民族大学"计算机视觉与虚拟现实"创新团队项目;北方民族大学重大专项;宁夏高等学校一流学科建设数学项目

在线出版日期：2021-08-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共31页

页码：1359-1389