结合关键帧提取的视频-文本跨模态实体分辨双重编码方法

摘要：

现有的视频-文本跨模态实体分辨方法在视频处理上均采用均匀取帧的方法,必然导致视频信息的丢失,增加问题的复杂度.针对这一问题,提出一种结合关键帧提取的视频-文本跨模态实体分辨双重编码方法(DEIKFE).以充分保留视频信息表征为前提,设计关键帧提取算法提取视频中的关键帧,获得视频关键帧集合表示.对于视频关键帧集合和文本,采用多级编码的方法,分别提取表征视频和文本的全局、局部和时序的特征,将其进行拼接形成多级编码表示.将该编码表示映射至共同嵌入空间,采用强负样本跨模态三元组损失对模型参数进行优化,使得匹配的视频-文本相似度越大,而不匹配的视频-文本相似度越小.通过在MSR-VTT、VATEX两个数据集上进行实验验证,与现有方法进行对比,在总体性能R@sum上分别提升了9.22％、2.86％,证明了该方法的优越性.

关键词：跨模态实体分辨、关键帧提取、共同嵌入空间、双重编码、强负样本

所属期刊栏目：43

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;中国博士后科学基金特别资助项目;国家重大科技专项项目

在线出版日期：2022-06-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1107-1116