基于注意力机制的弱监督动作定位方法

摘要：

针对弱监督动作定位方法无法直接进行动作定位且定位准确性不高的问题,提出了一种基于注意力机制的弱监督动作定位方法,并设计和实现了一种基于动作前后帧信息和区分函数的动作定位模型.采用条件变分自编码器(CVAE)注意力值生成模型,将生成的帧级注意力值作为伪帧级标签;为了增强帧前后的关联性,改进CVAE注意力值生成模型,加入动作前后帧信息以获取帧级注意力值;采用基于区分函数的注意力值优化模型,对伪帧级标签进行反复训练和优化.在THUMOS14和ActivityNet1.2数据集上进行的实验结果表明,基于动作前后帧信息和区分函数的动作定位模型具有较好的动作定位效果和准确性,相较于未加入动作前后帧信息的模型,动作漏检率减小了11.7％;与AutoLoc、W-TALC、3C-Net等弱监督动作定位模型对比,当交并比(IoU)取值0.5时,在THUMOS14数据集上平均检测精度均值(mAP)提升10.7％以上,在ActivityNet1.2数据集上mAP提升8.8％以上.

关键词：弱监督、注意力值、条件变分自编码器、区分函数、动作定位、平均检测精度均值

所属期刊栏目：42

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2022-04-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：960-967