CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名多域伪造特征融合的人像证伪鉴定方法研究
作者王源
答辩日期2023-05-22
文献子类硕士
关键词三维人脸关键点检测 热力图回归 人脸伪造检测 图卷积神经网络
英文摘要

随着深度学习技术的飞速发展,计算机视觉领域在如今的人工智能时代扮演着日益重要的作用,成为了学术界和工业界共同关注的热点问题。人脸图像分析作为计算机视觉领域最重要的研究方向之一,其广泛应用于法庭科学取证、人脸动画生成、人脸数字认证等方面。利用先进的生成对抗网络(GAN)和变分自编码器(VAE)技术,人们可以任意生成效果逼真、肉眼难以分辨的高质量人脸图像,促进了以Deepfakes为代表的人脸深度伪造技术的蓬勃发展。一方面,这种深度伪造技术激发了很多相关的娱乐应用,如表情驱动、人像重演、风格编辑等。另一方面,人脸深度伪造也很容易被不法分子利用,通过合成虚假的语音制作色情电影、虚假新闻和政治谣言,给社会舆论和司法鉴定带来了极大的损害。

为了减轻深度伪造技术带来的危害,学术界和工业界都展开了对人脸伪造视频检测技术的深入探索,就人脸视频图像的多模态特征域提出了许多高效的伪造检测方法,并对某些特定的篡改类型和伪造数据集取得了一系列的成功。作为重要应用领域之一,人脸伪造检测技术广泛应用于法庭科学人像证伪鉴定中,辅助法庭确定数字媒体证据的真伪,以确保判决的公正和合法性。然而,现有的伪造检测算法依赖特定分布数据、特定数据压缩率等诸多的局限性,远远落后于伪造视频的生成技术。因此,探索面向现实复杂开放场景的强鲁棒性、高泛化性的人脸深度伪造检测算法成为法庭科学取证中当前亟待解决的重要问题。此外,一个完整的通用人脸伪造检测器主要包括人脸检测、人脸关键点检测与对齐、伪造特征提取、特征融合与分类等模块。一般来说,人脸关键点检测精度的高低直接决定了人脸伪造检测模型性能的好坏和泛化性的强弱。

针对上述提到的问题,本文以法庭科学对特定个体进行伪造人像检验为突破口,建立基于生理、物理和数字等具有可解释性鉴别特征的提取检验方法,研究基于多特征融合的视频人像证伪量化检验模型算法。本文分别从三维人脸关键点检测(可解释性的生理、物理特征)、细粒度多域伪造特征提取(可解释性的多域数字特征)、伪造特征融合与高阶相关性挖掘(多域伪造特征融合推理模型)等角度入手,从而实现可解释性人像证伪鉴定\textbf{特征}的挖掘和强鲁棒性、高泛化性的伪造人脸量化检验\textbf{模型}的构建。本文提出了融合图神经网络和热力图回归的三维人脸关键点检测算法、空频动态图学习的细粒度人脸伪造检测算法、渐进式内容-纹理相关性推理的人脸伪造检测算法,研究内容与主要贡献表述如下:

(1) 如何从无序的点云数据中直接回归得到3D人脸关键点,从而提高人脸关键点检测精度?目前,大多数三维人脸关键点检测算法属于传统算法,这些方法通过手工设计的算子提取3D人脸的局部几何特征或者借助于现有的3D人脸模型进行模版匹配。然而,这些算法的准确率受到人工制作的特征或者固定化的3D人脸模型的限制。针对此问题,本文首先提出了一种基于热力图回归和图神经网络的三维人脸关键点检测模型框架,该方法通过融合图特征的几何深度学习算法,可以从3D点云数据中直接回归得到高精度的三维人脸关键点坐标。其次,本文创新性地提出了一种高效的3D人脸热力图回归算法,该算法利用局部曲面展开和局部曲面配准,进行3D人脸曲面数据的高精度拟合,极大地提高了三维人脸关键点的检测精度。(对应本文第三章)

(2) 如何设计合理的多域人脸伪造特征语义表达,从而提高检测模型的泛化性和鲁棒性?首先,本文深入研究人脸图像的空间域和频率域特征。现有的伪造检测算法往往通过复杂设计的滤波器组提取频率域特征,然而这些滤波器特征丢失了空间信息,因此难以适应复杂现实场景(低光照、小尺度、强模糊)的变化。针对此问题,本文提出了一种内容感知的频率特征提取算法。通过深入探索自适应频率特征表示,并充分挖掘空间-频率域伪造证据的复杂交互关系,从而提高检测模型的多域特征泛化性。其次,本文受启发于图像变分分解理论,充分探索人脸图像的内容空间特征和纹理空间特征。我们提出了一种基于小波多分辨率分析的自动编码器,它利用自监督预训练的学习范式来更好地保留可感知的人脸结构化的内容特征和细粒度的纹理细节,对外界环境中的视觉压缩、噪声干扰等表现出良好的鲁棒性。(对应本文第四章、第五章)

(3) 如何实现多域人脸伪造证据的融合理解推理,从而增强人脸伪造检测模型的可解释性?首先,针对空间域和频率域特征,本文提出了一个多域注意力图学习方案,探索多尺度细粒度的空间-频率域特征表征,更好地捕捉不同特征感受野的上下文信息,丰富空频特征的语义表示。我们设计了一个具有开创性的空间-频率特征动态图融合网络,借助图神经网络强大的多域特征融合与融合推理能力,充分探索多域伪造特征的高阶语义相关性,进而提高伪造检测模型的泛化能力和鲁棒性。其次,针对内容空间和纹理空间,本文提出了一个层次化学习方法,用于解耦内容和纹理空间表征,构建多级内容-纹理注意力特征图。我们设计了一个内容-纹理的域内-跨域特征融合模块,渐进地挖掘内容-纹理特征的高阶语义相关性,实现多域伪造特征的协同推理学习,有效地增强人脸伪造检测模型的可解释性。(对应本文第四章、第五章)

语种中文
学科主题人工智能
页码122
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/51721]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
王源. 多域伪造特征融合的人像证伪鉴定方法研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace