利用迁移学习精准识别领域信息之探讨

摘要：

[目的/意义]将从互联网大数据中无监督学习的结果迁移到目标领域,解决目标领域因学习样本有限而信息识别效果难以提升的问题.[方法/过程]使用以中文维基百科等数据预训练的RoBERTa模型进行迁移学习,将学习结果映射到目标领域后使用DPCNN对其进行聚合凝练,然后结合部分标注数据微调模型完成领域信息的精准识别.[结果/结论]在10个领域内与未进行迁移学习的模型及经典模型TextCNN对比,提出的模型均较大幅度优于对比模型,平均后的精确率绝对提高4.15％、3.43％,召回率绝对提高4.55％、3.44％,F1分数绝对提高4.52％、3.44％,表明利用网络大数据迁移学习可以显著提升目标领域的信息识别效果.

关键词：迁移学习、信息识别、RoBERTa

所属期刊栏目：65

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家社会科学基金20ATQ008

在线出版日期：2021-04-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：110-117