基于多尺度特征解析的放射学报告生成方法

摘要：

在使用深度学习模型自动生成放射学报告时,由于数据的极度不平衡,当前的模型难以识别异常区域特征,从而导致对疾病的错判与漏判.为了提升模型对疾病的识别能力,提高放射学报告的质量,提出使用多尺度特征解析 Transformer(MFPT)模型来生成放射学报告.构建一个关键特征强化注意力(KFEA)模块,以便加强对关键特征的利用;设计一个多模态特征融合(MFF)模块,以便促进语义特征与视觉特征的特征融合,缓解特征差异造成的影响;探索阶段感知(SA)模块在放射学报告任务中对初级特征的优化作用.最后,在流行的放射学报告数据集 IU X-Ray 上,与当前的主流模型进行对比实验,结果表明,所提模型取得当前最佳效果.

关键词：注意力机制、特征融合、放射学报告、Transformer、图像-文本生成

所属期刊栏目：60

分类号：TP391;TP277;TP183

在线出版日期：2024-02-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：71-78