基于深度学习的词汇表示模型对比研究

摘要：

[目的]系统揭示传统深度表示模型与最新预训练模型的原理,探究其在文本挖掘任务中的效果差异.[方法]采用对比研究法,从模型侧和实验侧分别比较传统模型与最新模型在CR、MR、MPQA、Subj、SST-2和TREC六个数据集上的效果差异.[结果]在六个任务中,XLNet模型取得了最高的平均F1值(0.918 6),优于ELMo(0.809 0)、BERT(0.898 3)、Word2Vec (0.769 2)、GloVe(0.757 6)和FastText(0.750 6).[局限]由于篇幅限制,实证研究以文本挖掘中的分类任务为主,尚未比较词汇表示学习方法在机器翻译、问答等其他任务中的效果.[结论]传统深度表示学习模型与最新预训练模型在文本挖掘任务中的表现存在较大差异.

关键词：词汇表示学习、知识表示、深度学习、文本挖掘

所属期刊栏目：4

分类号：TP391(计算技术、计算机技术)

资助基金：本文系国家自然科学基金面上项目“面向跨语言观点摘要的领域知识表示与融合模型研究”;中南财经政法大学中央高校基本科研业务费专项资金资助“大数据视角下的中美贸易战观点挖掘研究”

在线出版日期：2020-11-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：28-40