题名基于身份空间约束的伪造人脸图像鉴别研究
作者姜君
答辩日期2021-11-27
文献子类学士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师李兵
关键词图像合成 深度伪造 伪造人脸鉴别 生成对抗网络
学位名称工学硕士
学位专业计算机应用技术
英文摘要

数字网络基础设施的建设升级与电子智能设备的广泛普及为深度学习和计算机视觉技术的快速进步提供了有利的硬件条件。基于深度学习的图像合成技术,尤其是伪造人脸图像合成技术,近年来发展迅速。伪造脸图像合成技术一般指利用特定算法和数据资源等合成具有特定人物肖像内容的图像技术。该项技术合成的图像具有虚构性,风格逼近真实拍摄的照片。其伪造过程发生在数字记录空间,且不依赖于领域专家的工技艺。它虽然推动了相关领域的研究进展,但也为谣言诽谤的滋生提供了温床,引发了多起违背伦理道德、破坏社会秩序的事件,给国家网络主权、安全和发展利益带来潜在威胁。因此针对其开展的伪造人脸像鉴别研究也在同步进行,并为相关网络空间治理监管行动提供技术支持,具有重要的研究价值和巨大的现实需求。

鉴于目前许多鉴别算法难以有效地识别出在训练阶段未知的伪造方法合成的图像,本文面向伪造人脸图像鉴别的实际应用需求,先提出了基于身份空间约束的鉴别框架,再利用赋权分频的方法对其进行扩展,重克服跨伪造方法鉴别中泛化性能不足的难点。本文的主要工作如下:

(1) 系统总结了近年来的伪造人脸图像研究进展。本文以四个条件给出了较为严格的“伪造人脸”定义,澄清了相关研究可能遇到的模棱两可的情况,明确了研究对象的涵盖范围;详细介绍了与伪造人脸相关的基本模及其原理,阐述了整脸合成、身份交换、属性修改与表情修改四种主要合成类型常用的模型框架和经典工作;按照鉴伪线索特征将伪造人脸图像鉴别方法分为基于人工设计特征、基于空域特征与基于频域特征三主要类别,并分别介绍了它们的优势与不足。

(2) 提出了基于身份空间约束的身份交换型伪造人脸图像鉴别方法。本文针对简单二分类卷积网络分类器难以学习到具有泛化性鉴别线索的问题,提出了使用一张与待测人脸图像具有相同身份的真实图像作为参考、引入辅助信息提升判别性能的新思路。基于这一思路,本文首先采用身份语义编码器提取图像中的身份特征,然后构造多尺度的身份空间约束,并将其引入到主干网络中对应的位点,使之更加关注与人物身份特相关的区域,提取更具判别性和泛化能力的线索。实验表明该方法能适用于不同结构的主干网络,有效提高针对未知伪造人脸合成方法的鉴别能力。

(3) 在上一点基础上拓展并提出了基于赋权分频身份空间约束的身份交换型伪造人脸图像鉴别方法。该方法中鉴别器含有两条支路,它们共享身份语义编码器生成的身份空间约束,分别处理待测人脸图像的高低频信,各自给出预测的伪造概率。最终概率由两支路结果依据可学习的权重加权决定。该方法对鉴伪线索的处理更加灵活,并同时证明了高频信号在伪造图像鉴别中有更加重要的作用,印证了身份空间约束方法的可展性。

语种中文
页码73
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/46600]  
专题自动化研究所_模式识别国家重点实验室_视频内容安全团队
通讯作者姜君
推荐引用方式
GB/T 7714
姜君. 基于身份空间约束的伪造人脸图像鉴别研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace