基于深度预训练语言模型的文献学科自动分类研究

摘要：

为了支撑"一流学科"相关的情报和文献服务,本文探索利用深度预训练语言模型实现文献的教育部一级学科自动分类.通过构建基于BERT和ERNIE的文献学科分类模型,在21个人文社科一级学科近10万条期刊文献数据集上进行实验验证,并与传统机器学习方法(朴素贝叶斯、支持向量机等)、典型深度学习方法(卷积神经网络、循环神经网络)进行对比分析.结果显示,基于深度预训练语言模型的方法效果最好,其中ERNIE在测试集上的Top 1和Top 2准确率分别可达到75.56％、89.35％;同时使用标题、关键词和摘要作为输入的分类模型效果最优;一些学科的学科独立性强,分类效果好,如体育学F1值高达0.98;另一些学科间交叉性高,分类效果欠佳,如理论经济学和应用经济学的F1值在0.6左右.此外,本文还对学科交叉融合、模型应用场景、分类效果优化做了进一步的探讨.

关键词：文献学科分类、深度学习、文本分类、预训练语言模型

所属期刊栏目：39

资助基金：国家社会科学基金重点项目"开放科学数据集统一发现的关键问题;平台构建研究"

在线出版日期：2020-11-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1046-1059