跨模态多标签生物医学图像分类建模识别
目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学.方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型.视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习.然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式.结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验.基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值.文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能.最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5％.结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能.
多标签分类、卷积神经网络、迁移学习、生物医学图像、深度学习
23
TP391.6(计算技术、计算机技术)
国家自然科学基金项目61272373,61202254,71303031;辽宁省自然科学基金项目201602195,DC201502030202;中央高校自主科研基金项目DC13010313,DC201502030202;辽宁省博士科研启动基金项目201601084National Natural Science Foundation of China61272373,61202254,71303031;Natural Science Foundation of Liaoning Province,China201602195,DC201502030202
2018-07-20（万方平台首次上网日期，不代表论文的发表时间）
共11页
917-927
