基于Transformer的多任务图像拼接篡改检测算法

摘要：

现有基于深度学习的图像拼接篡改检测方法大多依赖卷积操作的局部计算过程,感受野有限.此外,现有方法大多仅将篡改区域定位用于指导检测模型训练,难以学习更加丰富的篡改痕迹特征.针对上述局限性,提出了基于Transformer的多任务图像拼接篡改检测网络(Multitask Transformer-based Network,MT-Net),利用Transformer中的自注意力机制在特征提取过程获取图像像素之间的相关性,自适应地为各像素提供不同的关注度,提升检测网络对篡改痕迹的表征能力.此外,MT-Net同时考虑多个子任务从局部细化和整体感知两个方面共同引导网络学习,包括篡改区域定位、篡改边缘定位和篡改比例预测,并根据子任务特点设计了对应的损失函数来指导网络进行优化.实验结果表明,相比现有算法,所提算法在CASIA V2.0,Columbia和IDM2020这3个公开数据集上均取得了更好的检测准确性,F1值分别达到了0.808,0.913和0.675.可视化检测结果图表明,所提算法在定位拼接篡改区域时也有较好的表现.

关键词：数字图像取证、图像拼接检测、Transformer、自注意力机制、多任务网络

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：四川省科技计划;国家自然科学基金;国家自然科学基金;中央高校基本科研业务费专项;中央高校基本科研业务费专项;中国博士后科学基金

在线出版日期：2023-02-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：114-122