题名基于生成对抗网络的人脸图像增强方法研究
作者窦昊
答辩日期2021-05-28
文献子类博士
授予单位中国科学院大学
授予地点中国科学院大学
导师彭思龙
关键词人脸图像增强 生成对抗网络 近红外人脸图像增强 人脸超分辨 跨年龄人脸变换
学位专业控制理论与控制工程
英文摘要

近年来,基于大数据的智慧公共安全体系得到快速发展和完善,各种成像设备采集到的人脸图像在刑侦安防场景中起到了重要的作用,这些人脸图像可以作为关键线索和证据为警方办案提供辅助性的指导。本文主要研究人脸图像增强方法,旨在针对刑侦安防场景中出现的异质、低质等特点的人脸图像进行有目的地增强变换处理,改善待增强人脸图像的肉眼视觉效果、识别比对效果,提升这类人脸图像在侦查办案中的应用价值。

人脸图像增强任务可以视为一种典型的条件式图像生成任务。现阶段,基于生成模型的人脸图像增强研究仍然存在一定的局限和挑战,比如小样本和非监督情况下的模型稳定性、人脸图像复原过程中视觉效果和噪声失真的权衡,以及人脸属性的平滑变换等。本文以生成对抗网络这一深度生成模型作为主要研究基础,针对刑侦安防场景下人脸图像面临的典型增强问题和挑战进行深入研究,结合人脸任务本身的先验知识,改进和发展对抗生成理论和方法,在人脸图像增强任务上实现较好的增强目标。

本文的主要内容和创新点归纳如下:

1. 本文针对近红外人脸图像增强问题,以提升生成模型在无监督小样本情况下的图像翻译能力为目标,主要研究了生成对抗网络在非配对训练任务中的不对称现象,提出了非对称 CycleGAN (Asymmetric CycleGAN) 模型来改善不对称训练引起的过拟合和不稳定问题。该方法给出了非配对图像翻译任务的不对称性度量指标,通过该指标来改进经典的非配对图像翻译模型 CycleGAN,指导其生成器的网络复杂度设计,构建合理的非对称 CycleGAN 结构,提升了模型在不对称翻译任务的非配对训练效果。进一步地,本文在非对称 CycleGAN 基础上,针对人脸引入细致的边缘先验约束,增强生成人脸图像的细节保持能力,提升了待增强图像的视觉效果和人脸识别性能,有效地实现了从近红外人脸向可见光彩色人脸图像的转换,并且在相关数据集和真实场景数据中得到了测试和验证。

2. 本文针对低质量人脸图像增强问题,以兼顾生成模型在图像复原时的感知效果和失真程度为目标,将超分辨增强问题作为研究的切入口,为生成对抗网络设计了一种面向主成分空间的增量式投影判别的学习方法 (PCAGAN) ,可以简单有效地重建人脸信息的复杂分布。该方法面向人脸数据,引入主成分分析 (PCA) 的投影空间,通过向 PCA 空间中投影来实现人脸信息的层次化展开,然后利用对抗学习的方式增量式判别投影成分,从而指导生成器的由粗到细地生成人脸信息。该方法实现了一种平滑渐进的生成对抗网络训练方式,较好地完成了兼顾低失真和高感知效果的人脸重建目标。通过相关数据集上的量化指标和视觉效果比较,显著表明了该方法在人脸超分辨问题上的有效性, 结合真实场景中的低质量人脸样本增强实验,有效验证了其在低质量人脸图像增强问题上的实用性。


3. 本文针对跨年龄人脸图像变换增强问题,以改善生成模型在属性变换时的细致生成效果为目标,提出了 FA-FlowGAN 模型,借助可逆的标准化流方法,提升了生成对抗网络在隐变量空间的表示和映射能力,实现了可解释和可控地指定年龄人脸生成效果。该方法以简单的先验概率分布映射年龄属性空间,并将属性变量嵌入到自编码式的生成器结构中。结合流模型对属性分布的精确概率建模能力,该方法利用生成对抗损失和年龄分类损失较好地实现了指定年龄的人脸图像生成,在维持人脸身份的前提下,保证了人脸图像随年龄隐变量的平滑渐变采样,取得了高质量的跨年龄人脸图像转换效果,相关数据集上的实验结果证明了方法的有效性。

 

语种中文
页码120
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/44442]  
专题自动化研究所_智能制造技术与系统研究中心_多维数据分析团队
推荐引用方式
GB/T 7714
窦昊. 基于生成对抗网络的人脸图像增强方法研究[D]. 中国科学院大学. 中国科学院大学. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace