BERT模型的主要优化改进方法研究综述

摘要：

[目的]对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴.[文献范围]自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型.[方法]根据模型优化改进的技术路线,从改进预训练目标、融合外部知识库、改进Transformer结构和预训练模型压缩4个方面,分别阐述优化改进的方式及产生的效果.[结果]预训练目标优化和Transformer结构改进最早受到研究者关注,并且成为BERT模型优化改进的主要方式,随后预训练模型压缩及外部知识库的融合也成为新的发展方向.[局限]BERT模型相关研究发展迅速,可能未覆盖一些相关研究工作.[结论]研究者可重点关注预训练目标优化和Transformer结构改进方面的研究,同时考虑根据不同应用场景选择模型优化方向.

关键词：BERT模型、预训练、知识融合、模型压缩

所属期刊栏目：5

分类号：TP391(计算技术、计算机技术)

资助基金：本文系中国科学院文献情报能力建设专项课题项目编号:E0290906

在线出版日期：2021-04-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：3-15