基于多模态表示学习的情感分析框架
在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节.文中提出了一个基于多模态表示学习的多子空间情感分析框架.首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化.然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息.最后,通过串联生成联合向量并利用全连接层生成任务预测.在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型.
多模态表示、情感分析、Transformer、自注意力、跨模态
49
TP391.41(计算技术、计算机技术)
国家自然科学基金;湖北省高等学校优秀中青年科技创新团队计划项目;湖北省高校知识产权推进工程项目;湖北省教育厅科学研究计划重点项目
2023-05-22（万方平台首次上网日期，不代表论文的发表时间）
共6页
619-624
