生成对抗网络图像类别标签跨模态识别系统设计

摘要：

针对传统图像类别标签识别系统只能单一模态识别图像类别标签的问题,设计一种生成对抗网络图像类别标签跨模态识别系统.将待识别图像输入系统跨模态多标签标定模块中,该模块采用卷积神经网络构建图像模型和文本模型,采用同质迁徙学习和混合迁徙学习训练两个模型,融合训练后的图像内容和说明文本两种模态,多模态类别标签标定图像;将标定图像传输到生成对抗网络中,该网络采用流行一致方法结合生成器生成的图像和隐变量、真实图像和编码器获取的图像特征,将结合结果传输到鉴别器后采用循环交替优化方式训练对抗网络,输出图像类别标签识别结果.经过实验分析发现,该系统能跨模态识别出原始图像中的花、电视图像类别标签,汉明损失数值均低于0.02,宏平均值高于0.97,系统跨模态识别图像类别标签效果好.

关键词：生成对抗网络、图像类别标签、跨模态识别、系统设计、卷积神经网络、训练模型

所属期刊栏目：43

分类号：TN926-34;TP391

资助基金：国家教育部产教合作协同育人项目;河南省基础与前沿技术研究计划项目

在线出版日期：2020-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：173-175