预训练语言模型的应用综述

摘要：

近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段.文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理.具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战.

关键词：预训练语言模型、自然语言处理、深度学习、信息提取、情感分析、问答系统、文本摘要、机器翻译

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：广西多源信息挖掘与安全重点实验室系统性研究课题22-A-01-02

在线出版日期：2023-02-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：176-184