预训练词嵌入技术的演化与算法

摘要：

目的:探究预训练词嵌入技术的重要性和主要演化路径,剖析其路径上的主流算法.方法:利用知识图谱分析预训练语言模型的基础知识及预训练词嵌入技术演化的关键路径,从算法角度分析其路径上代表性模型的内涵和优缺点.结果:词嵌入技术作为预训练语言模型的主要知识基础之一,包含Word2Vec、LSTM、Bi-LSTM和BERT等研究热点,基于LSTM的特征提取技术和基于Transformer的特征提取技术是预训练词嵌入技术的一条重要演化路径.模型结构与算法分析结果显示该路径上的模型的表征能力越来越强.结论:基于预训练语言模型的词嵌入技术能够获得包含更多语境信息的词向量,目前已成为自然语言处理领域中文本表示的重要方法.

关键词：词嵌入、预训练语言模型、知识图谱、演化、模型算法

所属期刊栏目：30

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2022-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：31-39