CNN结合Transformer的深度伪造高效检测

摘要：

目的 深度伪造视频检测是目前计算机视觉领域的热点研究问题.卷积神经网络和Vision Transformer(ViT)都是深度伪造检测模型中的基础结构,二者虽各有优势,但都面临训练和测试阶段耗时较长、跨压缩场景精度显著下降问题.针对这两类模型各自的优缺点,以及不同域特征在检测场景下的适用性,提出了一种高效的CNN(convolutional neural network)结合Transformer的联合模型.方法 设计基于EfficientNet的空间域特征提取分支及频率域特征提取分支,以丰富单分支的特征表示.之后与Transformer的编码器结构、交叉注意力结构进行连接,对全局区域间特征相关性进行建模.针对跨压缩、跨库场景下深度伪造检测模型精度下降问题,设计注意力机制及嵌入方式,结合数据增广策略,提高模型在跨压缩率、跨库场景下的鲁棒性.结果 在FaceForensics++的4个数据集上与其他9种方法进行跨压缩率的精度比较,在交叉压缩率检测实验中,本文方法对Deepfake、Face2Face和Neural Textures伪造图像的检测准确率分别达到90.35％、71.79％和80.71％,优于对比算法.在跨数据集的实验中,本文模型同样优于其他方法,并且同设备训练耗时大幅缩减.结论 本文提出的联合模型综合了卷积神经网络和Vision Transformer的优点,利用了不同域特征的检测特性及注意力机制和数据增强机制,改善了深度伪造检测在跨压缩、跨库检测时的效果,使模型更加准确且高效.

关键词：深度伪造检测、卷积神经网络(CNN)、Vision Transformer(ViT)、空间域、频率域

所属期刊栏目：28

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;广东省基础与应用基础研究重大项目;广州市科技计划项目;广州市科技计划项目

在线出版日期：2023-03-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：804-819