基于Transformer的多轨音乐生成对抗网络

摘要：

符号音乐的生成在人工智能领域中仍然是一个尚未解决的问题,面临着诸多挑战.经研究发现,现有的多音轨音乐生成方法在旋律、节奏及和谐度上均达不到市场所要求的效果,并且生成的音乐大多不符合基础的乐理知识.为了解决以上问题,提出一种新颖的基于Transformer的多音轨音乐生成对抗网络(Transformer-GAN),以乐理规则为指导来产生具有高音乐性的音乐作品.首先,采用Transformer的译码部分与在Transformer基础之上改编的Cross-Track Transformer(CT-Transformer)分别对单音轨内部及多音轨之间的信息进行学习;然后,使用乐理规则和交叉熵损失相结合的方法引导生成网络的训练,并在训练鉴别网络的同时优化精心设计的目标损失函数;最后,生成具有旋律性、节奏性及和谐性的多音轨音乐作品.实验结果表明,与其他多乐器音乐生成模型相比,在钢琴轨、吉他轨及贝斯轨上,Transformer-GAN的预测精确度(PA)最低分别提升了12％、11％及22％,序列相似度(SS)最低分别提升了13％、6％及10％,休止符指标最低分别提升了8％、4％及17％.由此可见,Transformer-GAN在加入了CT-Transformer及音乐规则奖励模块之后能有效提升音乐的PA、SS等指标,使生成的音乐质量整体上有较大的提升.

关键词：音乐生成;Transformer;音乐规则;目标损失函数;对抗网络

所属期刊栏目：41

分类号：TP181(自动化基础理论)

资助基金：国家重点研发计划项目;中央高校基本科研业务费专项资金资助项目

在线出版日期：2022-01-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3585-3589