基于BERT和改进胶囊网络的关系分类方法

摘要：

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于 BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的 BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在 SemEval-2010 task 8 关系分类数据集上,该算法模型取得了 90.15％的宏 F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.

关键词：关系分类、BERT模型、卷积神经网络、多头注意力机制、胶囊网络

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61977021

在线出版日期：2023-05-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：396-403