融合RoBERTa的多尺度语义协同专利文本分类模型

摘要：

针对静态词向量工具(如word2vec)舍弃词的上下文语境信息,以及现有专利文本分类模型特征抽取能力不足等问题,提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型.RoBERTa能够学习到当前词符合上下文的动态语义表示,解决静态词向量无法表示多义词的问题.多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征,再由双向内置注意力简单循环单元进行不同层次的上下文语义建模,将多尺度输出特征进行拼接,由注意力机制对分类结果贡献大的关键特征分配更高权重.在国家信息中心发布的专利文本数据集上进行验证,与ALBERT-BiGRU和BiLSTM-ATT-CNN相比,RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7％和5.1％,大类级专利的分类准确率分别提升了6.7％和8.4％.结果表明,RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率.

关键词：专利文本分类、语义协同、简单循环单元、RoBERTa模型

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：广东省重点领域研发计划;广州市重点领域研发计划

在线出版日期：2023-06-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：903-910