基于MPNet预训练和多头注意力特征融合的引文意图分类方法

摘要：

引文意图自动分类是文献计量领域的重要问题,现有的引文意图分类模型存在对文本特征抽取能力有限、无法融合引文上下文特征和引文外部特征的问题.因此,文中提出基于MPNet预训练和多头注意力特征融合的引文意图分类方法.引入位置补偿结构,改善掩码语言模型与排列语言模型存在的缺陷.联合引文的语法词频特征与引文结构特征,提出适用于引文意图分类任务的特征抽取方法.再引入多头注意力机制进行特征融合,提升分类效果.在ACL-ARC数据集上的实验表明,文中方法在引文意图分类任务上性能较优,同时还具有在不平衡数据上的鲁棒性.

关键词：引文意图分类、特征融合、预训练模型、特征抽取、多头注意力机制

所属期刊栏目：35

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家社会科学基金;辽宁省高等学校创新人才项目;大连外国语大学研究创新团队项目

在线出版日期：2022-10-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：849-857