人脸合成中的去几何和光照变化研究

CORC > 自动化研究所 > 中国科学院自动化研究所 > 毕业生 > 博士学位论文

题名	人脸合成中的去几何和光照变化研究
作者	张婷1,2
答辩日期	2018-05-29
授予单位	中国科学院研究生院
授予地点	北京
导师	胡占义
关键词	人脸识别人脸合成角度和光照校正人脸去遮挡深度神经网络
英文摘要	如何有效地去除人脸图像中的几何、光照变化进而合成标准光照下的正面人脸图像，是人脸识别研究中一个亟待解决的问题。本文针对该问题展开了系统性的研究，提出了多种基于深度神经网络的人脸合成方法。本文的主要工作和贡献包括以下几个方面： 1. 提出了一种能够去除人脸图像中几何和光照变化的深度神经网络，旨在学习具有视角不变性的人脸特征表达，并合成正面人脸图像。该网络包含两个串联的模块：第一个模块用来学习输入人脸图像对应的姿态；第二个模块包含多个子网络，其中每个子网络的输入为对应于一个特定视角、不同光照条件的人脸图像，输出为与输入图像相对应的标准光照下的正面人脸图像。该网络需要较少的计算资源，而且只需要较少的训练数据就能够学习到人脸图像的由视角变化引起的几何变化。在基准数据集Mutli-PIE上的对比实验结果表明，该网络的性能优于文献中的四种方法。 2. 提出了一种两分支的深度相关网络，旨在融合几何和纹理特征从而实现正面人脸合成。该网络包含一个几何分支网络和一个纹理分支网络，网络的输入为任意视角下的单幅人脸图像：首先，利用这两个分支网络分别提取输入图像的几何特征和纹理特征。然后，引入一个相关层融合这两种特征。最后，利用融合后的特征合成标准光照下的正面人脸图像。在基准数据集Multi-PIE和LFW上的实验结果表明，该两分支深度相关网络的性能优于文献中八种当前流行的方法。 3. 提出了一种深度分解连体网络（Deep Disentangling Siamese Network），旨在利用图像对来合成标准光照下的正面人脸图像。不同于其他相关文献将单幅图像作为网络的输入图像，该网络将一对具有随机身份、角度和光照的人脸图像作为网络的输入图像，将正面人脸合成问题建模为一个关于人脸图像的编码-分解-解码的过程：首先，连体网络中的编码模块学习到输入图像对的特征表达。然后，分解模块将这对人脸特征表达分别分解为代表身份、角度和光照信息的特征表达。最终，解码模块将身份表达转换为正面人脸图像。在基准数据集Multi-PIE上的定性和定量实验结果表明，该深度连体分解网络的性能优于文献中九种当前流行的方法。 4. 提出了一种能够去除人脸图像中角度变化和遮挡的生成对抗网络（Generative Adversarial Network），旨在从遮挡的人脸图像中恢复对应的正面人脸图像。该生成对抗网络使用一个编码器-解码器的网络结构作为生成器，并同时引入两个判别器：一个是全局判别器，用于区分整张人脸图像的真实性，同时保持身份特征不变；另一个是局部判别器，用于区分人脸中遮挡区域的真实性。此外，引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。在基准数据集Multi-PIE上的定性和定量实验结果表明，该生成对抗网络的性能优于文献中九种当前流行的方法。
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/21060]
专题	毕业生_博士学位论文
作者单位	1.中国科学院大学 2.中国科学院自动化研究所
推荐引用方式 GB/T 7714	张婷. 人脸合成中的去几何和光照变化研究[D]. 北京. 中国科学院研究生院. 2018.