互编码器辅助视频的多模态场景分类

摘要：

为了解决多模态场景分类准确率不高的问题,文中提出一种由互编码器辅助视频的多模态场景分类方法.音频部分首先对输入音频数据进行特征提取并且使用 自注意力机制取得关注信息,图像部分首先对视频进行分帧图片提取,然后通过ResNet50网络进行特征提取,随后提取到的双模态信息进入互编码器,互编码器通过提取各个模态隐层特征进行特征融合,融合后的新特征结合attention机制辅助视频特征.在该模型中,互编码器为融合特征的辅助系统.实验基于DCASE2021 Challenge Task 1B数据集进行验证,结果表明互编码器能够提升分类准确率.

关键词：视听场景分类、自注意力机制、多模态学习、编码器、变分自编码器

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：104-110