CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名基于生成对抗网络的人体图像生成与编辑
作者赵冰浩
答辩日期2023-05-22
文献子类硕士
关键词图像生成 姿态迁移 人体编辑 生成对抗网络 组件式生成
英文摘要

人体图像生成与编辑是指以人为主体的一系列生成任务,包括人体姿态迁移,人体编辑等等,在电影动画制作、虚拟试衣、虚拟主播等泛娱乐领域具有广阔的应用前景,在行人重识别、元宇宙构建等学术领域同样是重要的技术基础。在生成对抗网络(Generative Adversarial Network, GAN)等一系列技术的发展推动下,人体图像生成与编辑领域迅速发展,成效显著。随着市场应用需求的不断拓展,该领域仍存在一些影响其应用性的问题亟待解决,包括复杂衣着生成、人体图像的任意编辑、人体部位的自由操控等通用问题。因此本文以人体图像的生成质量为基础,以提高人体图像生成中内容可控的自由度为目标,展开了深入探索。具体地,本文的主要研究内容和贡献概况如下:

(1)针对当前主流人体生成方法忽视人体图像编辑的重要性,并使用人体关键点作为先验信息,导致人体图像生成使用门槛高、应用性不佳的问题,本文提出了一种基于简笔画的人体图像生成与编辑方法,将手工简笔画贯穿生成引导的全过程,实现人体姿态、外形、穿着等方面的全控制。借助双阶段网络,首先实现由简笔画到人体语义分割图的预测,学习各部位间的分割信息及语义关联,并使用生成的姿态语义特征引导输入图像特征进行迁移,生成简笔画控制下的人体图像,对简笔画的任意涂抹编辑将直接反映在生成图像的变化中。同时,为了解决主流方法面对人物着装复杂的情况时,无法有效生成的问题,本文设计了可以保留空间信息的特征迁移模块,完成复杂纹理信息的迁移。该方法在姿态迁移任务中多个指标大幅领先于当前最优方法,图像生成质量也显著突出,在图像编辑任务上,表现出了“所画即所得”的自由编辑性。

(2)针对当前方法缺乏对人体图像生成内容的精细化、自由化的控制,本文提出一种组件式的人体生成方法,将整体生成过程拆分为多个组件的独立生成,并设计外貌风格量化模块增加生成图像质量。具体地,本文按照人体刚性区域划分,将人体拆分为多个部位,为每一个部位单独设计局部生成器,将生成出的局部特征按照设定方法进行聚合,并通过可学习的外貌风格码本进行向量量化,从而得到全局特征用于图像生成。通过本文特殊设计的网络结构,实现了对生成图像中人体各部位的独立生成与控制。此外,在局部生成器中,不仅实现了各部位间的解耦,还根据网络深度将内容区分为外形和外貌两部分,从而实现人体图像外形和外貌的独立控制。实验结果表明,该方法在人体图像生成上展现了较高的自由度,生成图像质量在定量和定性分析中都远好于已有方法。

语种中文
页码80
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52116]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
赵冰浩. 基于生成对抗网络的人体图像生成与编辑[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace