融合语义路径与语言模型的元学习知识推理框架

摘要：

针对传统推理方法无法兼顾计算能力与可解释性,同时在小样本场景下难以实现知识的快速学习等问题,该文设计一款融合语义路径与双向Transformer编码(BERT)的模型无关元学习(MAML)推理框架,该框架由基训练和元训练两个阶段构成.基训练阶段,将图谱推理实例用语义路径表示,并代入BERT模型微调计算链接概率,离线保存推理经验;元训练阶段,该框架基于多种关系的基训练过程获得梯度元信息,实现初始权值优化,完成小样本下知识的快速学习.实验表明,基训练推理框架在链接预测与事实预测任务中多项指标高于平均水平,同时元学习框架可以实现部分小样本推理问题的快速收敛.

关键词：知识推理、语义路径、双向Transformer编码表示、模型无关元学习

所属期刊栏目：44

分类号：TN912.3;TP391.1

在线出版日期：2022-12-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：4376-4383