基于Inception3D网络的眼部与口部区域协同视频换脸伪造检测

摘要：

近年来出现并迅猛发展的深度伪造(DeepFake)技术深刻改变了多媒体内容伪造的方式和水平,给网络空间内容安全带来了新的严峻挑战.本文主要关注深度伪造中危害最大的视频换脸伪造,提出基于I3D(Inception3D)网络的眼部与口部双流检测方法.首先,针对现有大多数伪造检测方法忽略了视频中重要的时间信息的问题,将目前常用的仅具备空域感受能力的2D卷积拓展为I3D卷积,赋予网络同时感受空域和时域信息的能力.同时,通过调整I3D网络结构使其从原有的多分类任务设计改进为更适合换脸取证二分类任务的高效网络.进一步,考虑到视频换脸操作中眼部和口部区域伪造难度更大也更容易留下篡改痕迹的特点,提出基于这两个区域的双流网络结构,最终利用双流输出结果实现协同决策.通过在Celeb-DF、DFDC、DeepFakeDetection、FaceForensics++等目前常用数据集上的广泛实验,结果表明本文提出的方法在检测准确性和效率上较目前最先进的Xception和标准I3D网络均得到显著提升.

关键词：深度伪造、高效Inception3D神经网络、双流特征、视频换脸

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61802284

在线出版日期：2021-05-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：567-577