基于块间光照不一致性的深度伪造检测算法

摘要：

深度伪造技术的迅速发展和广泛传播引起了社会的广泛关注,但深度伪造技术的恶意应用也给社会带来了潜在威胁.因此,如何检测出此类深度伪造内容成为热门研究课题.以往的多数深度伪造检测算法着重于捕捉像素级别的细微伪造痕迹.目前的深度伪造算法大多忽略了伪造前后的光照信息,导致原始人脸与伪造人脸之间存在一定的光照不一致性,这为使用光照不一致性来检测深度伪造提供了可能.从引入光照不一致性信息和为特定任务设计网络结构模块两个角度设计了对应的算法.针对光照的引入,通过设计对应的通道融合算法,将更多的光照不一致信息提供给网络特征提取层,从而衍生出新的网络结构.为了保证该网络结构的可移植性,将特征通道融合的过程置于网络提取信息之前,从而使所提算法能够完整移植至常见的深度伪造检测网络.针对网络结构的设计,从网络结构和损失函数设计两个角度出发,提出了基于块间相似性的光照不一致性深度伪造检测算法.对于网络结构,基于伪造图像篡改区域和背景区域不一致的特性,在网络特征层中对提取特征进行分块,通过对比块间余弦相似度得到特征层相似矩阵,使网络拟合重心更偏向于光照不一致性.在此基础上,基于特征层相似性对比方案,通过将输入图像与该图像的未篡改图像进行块间真伪性对比,为这一任务设计了独立的真实数据参考及损失函数.实验结果表明,与基线算法相比,所提算法对于深度伪造检测的准确性有明显提升.

关键词：深度伪造检测、光照不一致性、色彩恒常性、块间相似度对比

所属期刊栏目：9

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;安徽省自然科学基金;统筹推进世界一流大学和一流学科建设专项;中央高校基本科研业务费专项

在线出版日期：2023-03-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：167-177