名词引导局部特征提取的基于文本的实例分割方法

摘要：

局部特征信息在图像分割中扮演着重要角色,然而基于文本的实例分割任务具有对输入文本表达式的依赖性,无法直接从原始的输入图像中提取局部特征信息.针对这一问题,提出了 一种具体的名词引导局部特征提取的深度神经网络模型(NgLFNet),NgLFNet模型可根据输入文本表达式中的关键名词来自动挖掘待分割对象的局部特征信息.具体地,该模型首先通过语句分析得到关键名词;其次通过文本和图像编码器提取相应特征,并利用关键名词通过多头注意力机制获取高关注区域局部特征;然后逐步融合多模态特征;最后在解码修正模块利用得到的局部特征对预测掩膜进行更细致的修正,从而得到最终结果.将该方法与多种主流基于文本的实例分割方法进行对比,实验结果表明该方法提升了分割效果.

关键词：图像处理、深度学习、基于文本的实例分割、多模态特征、特征融合、注意力机制

所属期刊栏目：40

分类号：TP391.41;TP183(计算技术、计算机技术)

资助基金：江西省教育厅科学技术研究项目GJJ190468

在线出版日期：2023-05-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1263-1267