基于小样本学习和语义信息的图像描述模型

摘要：

为克服传统图像描述模型只能描述已知对象的问题,结合小样本目标检测器和知识图谱,提出一种新的图像描述模型.小样本目标检测器能够检测出描述模型无法识别的对象,并且给出对象的名称,利用知识图谱提供对象的背景知识,结合对象信息,通过引入注意力机制引导模型选取合适的单词,进而生成包含这些对象的描述语句.实验结果表明,该模型的平均F1值较基线模型提升了6.6个百分点,而且所生成的描述语句的质量在SPICE标准上提高了2.0个百分点,证明该模型所采用的方法是有效的.

关键词：图像描述;小样本学习;知识图谱;目标检测;循环神经网络

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：河北省自然科学基金F2018208116

在线出版日期：2021-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：260-270