基于镜头分割与空域注意力模型的视频广告分类方法

摘要：

随着视频广告在检索和用户推荐等领域的广泛应用,视频广告的分类成为一个重要问题.与现有视频分类任务不同,视频广告有其自身的特点:1)在时域上,产品对象在广告视频中的出现具有非周期性和稀疏性的特点,这使得分类任务需要排除大量与视频类别不相关的视频帧的干扰,利用少数相关视频帧进行分类;2)在空域上,视频帧中除产品外,还包含复杂背景的问题,这使得有效捕捉产品信息变得困难.为了解决上述问题,文中提出了一种基于镜头分割和空域注意力模型的视频广告分类方法,简称SSSA.针对视频中存在的大量干扰帧,文中使用基于镜头切换的分割方法采样视频帧.针对视频帧中包含复杂背景,文中在网络中引入视觉注意力机制帮助网络从产品相关区域提取判别性的特征.为了验证所提方法的有效性,构建了一个包含1000多个视频广告的数据库(简称TAV)并收集了眼动数据来训练注意力模型.实验结果显示,提出的SSSA视频分类方法比现有的视频分类方法在性能上提升了10％.

关键词：分类、视频广告、注意力、标注

所属期刊栏目：46

分类号：TP391.9(计算技术、计算机技术)

资助基金：国家自然科学基金61601102,61502084,61871087

在线出版日期：2019-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：131-136