基于动态注意力机制和多模态循环融合的帕金森氏症识别

摘要：

PD(Parkinson's disease)的运动障碍会累及口、咽、腭肌以及面部肌肉,引起声带震颤和面部运动迟缓,为利用声纹和面部特征识别PD患者提供了可能.为了有效利用以上两种特征以提高PD识别率,提出了基于多尺度特征与动态注意力机制的多模态循环融合模型对患者进行识别检测.首先,设计了多尺度特征提取网络,将高、低层级特征的语义信息融合以得到完整的特征信息;其次,在多尺度特征融合过程中为了充分考虑模态间的相关性和互补性,提出了以不同模态信息互为辅助条件生成注意力特征图的动态注意力机制算法,降低特征融合时信息的冗余;最后设计了多模态循环融合模型,通过计算循环矩阵的每个行向量与特征向量间的哈达玛积得到更有效的融合特征,提高了模型性能.在自建数据集上进行的多组实验结果表明,提出的方法识别准确率高达96.24％,优于当前流行的单模态和多模态识别算法,可以有效区分PD患者和HP(healthy people),为高效识别PD患者奠定了基础.

关键词：帕金森氏症、多模态循环融合、多尺度特征、动态注意力机制

所属期刊栏目：40

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家重点研发计划;上海市扬帆计划资助项目

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：481-487