长短时记忆网络的自由体操视频自动描述方法

摘要：

提出一种长短时记忆网络的自由体操视频自动描述方法.在视频描述模型S2VT中,通过长短时记忆网络学习单词序列和视频帧序列之间的映射关系.引入注意力机制对S2VT模型进行改进,增大含有翻转方向、旋转度数、身体姿态等关键帧的权重,提高自由体操视频自动描述的准确性.建立自由体操分解动作数据集,在数据集MSVD及自建数据集上进行3种模型的对比实验,并通过计划采样方法消除训练解码器与预测解码器之间的差异.实验结果表明:文中方法可提高自由体操视频自动描述的精度.

关键词：长短时记忆网络、注意力机制、自由体操、自动描述

所属期刊栏目：41

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金资助项目;福建省自然科学基金资助项目

在线出版日期：2020-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：808-815