基于多模态特征的音乐情感多任务识别研究

摘要：

[目的/意义]情感是目前在线音乐平台常用的资源组织与检索方式之一,利用特征融合对歌单、歌曲的情感分类进行探索研究,能够优化音乐资源的管理与利用效果,更好地满足网民对音乐文化生活的需求.[方法/过程]本文引入Hevner音乐情感模型构建情感词典,利用词典信息、歌单名称、歌单介绍对大粒度歌单情感进行分类;通过预训练模型语义表示、音频信号处理等方法,融合歌词与音频多模态特征对小粒度歌曲情感进行识别.[结果/结论]情感词典的引入有效提升歌单情感分类精度,人工预处理能够帮助算法更好地学习数据特征;歌曲的文本与音频中均含有丰富的情感信息,多模态融合模型在歌曲情感识别中表现最优.

关键词：网易云音乐、歌单情感分类、音乐情感分类、梅尔声谱图、多模态融合

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;中央高校基本科研业务费项目

在线出版日期：2023-01-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：61-75