题名基于深度卷积网络的有监督图像特征提取和分类研究
作者Zhang Jinpeng
答辩日期2019-12-03
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师余山
关键词特征提取,图像分类,目标检测,卷积神经网络
学位名称工学博士
学位专业模式识别与智能系统
英文摘要

近年来,基于深度卷积神经网络(CNN)的机器视觉技术取得重大进展,特别是在图像分类任务方面,新的设计思路和方法不断涌现,使得模型架构快速迭代,分类精度和分类效率都得到极大提升。在CNN分类模型中,特征提取器和末端分类器都以神经元为基本单元进行构建,因而可采用统一的特征前传和梯度反传过程,使得特征提取和分类实现了过程整合,从而使整个网络可进行端到端的学习。在学习过程中,特征提取器和分类器的调优完全由输入数据和分类损失加以驱动,而无需过多的人工干预。特征提取器中逐层级联的卷积核通过调节可学习参数来逐渐提升特征图的语义表达,特别是其深层特征具有极高的抽象描述能力,从而为后续分类器提供了可分性良好的特征空间。而分类器亦能通过调节可学习参数来拟合出分类决策函数。在CNN分类模型中,确保有效的特征前传和梯度反传才能使得深层模型不易发生欠拟合,从而使其更容易训练。同时,配合机器学习中的正则化方法,可防止模型发生过拟合,以提升其泛化性能。

但当前基于CNN的分类模型也存在以下四个较为突出的问题。其一,对CNN特征提取过程的原理性认识不足,目前仍未能完全阐明其核心工作逻辑,使得其工作过程仍然呈现出一种黑箱状态。其二,当前的CNN分类模型都以逐阶段的降低特征图分辨率、并同时提升其通道数的方式来实现特征降维,因而使得高分辨率特征图始终处于模型浅层而无法获得足够高的语义表达,而高分辨率特征图在诸如目标检测等其他视觉任务中非常重要。其三,当前以残差网络为基本架构的设计方案占据了主流,但残差网络仍然存在特征前传能力不足,梯度反传能力薄弱的现象,从而导致极深层网络因梯度弥散而优化困难。其四,在将CNN分类模型用作骨架网络来完成其他视觉任务时,未能充分挖掘和利用CNN特征“抑制背景噪声信息,凸显前景物体信息”的核心优势。

因此,基于对上述问题的思考,本论文做了以下研究:

1)基于Bayes理论和KL散度,对CNN特征图进行了评估,并分析了其主要功能单元的机制和作用。实验发现,CNN通过在训练过程中逐渐提高各层特征图的类间KL散度,并同时降低其类内KL散度,来改善特征独特性和鲁棒性。实验还揭示了网络宽度和深度在特征提取中的作用,即特征分量上的可分性信息密度随网络宽度增加而趋向饱和,随网络深度增加而逐渐提高,两者相互协同,使得特征提取器能够实现可分性信息的高效压缩和提取。

2)受生物视觉皮层中信息流机制的启发,构造了一种基于解构重构过程的多尺度CNN图像分类模型ScaleNet。当前的绝大部分分类模型都以逐阶段的降低特征图分辨率为代价,从而实现特征降维和语义信息提取,而ScaleNet能够在网络的任意深度上实现多尺度特征提取,能够在网络极深层仍然维持特征图的高分辨率。例如,可为CIFAR数据集的末端分类器提供32x32的超高分辨率特征图。这一结构特点,使得ScaleNet中位于网络极深层的高分辨率特征图也能学习到强语义表达,从而使其能够捕捉到图像的细粒度特征。

3)受ResNet和DenseNet等模型的启发,设计了一种多通路跨层连接结构。该结构与残差学习相结合,可形成多通路残差连接结构。相比原始残差模块的单路输入/输出,改进后的残差模块有三路输入/输出,且每一路都形成一个跨越多层的残差连接,因而能更有效的提升网络的梯度反传能力。基于ScaleNet的实验分析表明,多通路残差结构在分类准确率上优于原始的单通路残差结构。

4)基于CNN特征图的激活特性对图像目标检测算法进行了改进,提出了Hot Anchors算法。该方法利用特征图上每个像素点的激活值作为判别依据,将目标检测算法中锚点框(Anchor-Boxes)的生成过程由均匀采样改进为基于CNN激活值的启发式采样,从而可减小锚点采样规模,提升算法计算效率,并提升检测精度。

以上研究课题涉及了CNN特征提取原理的分析,CNN分类模型的设计优化,以及CNN分类模型在其他视觉任务中的再利用这三个方面的内容。对图像特征提取原理的研究有助于开发更好的特征提取方法,进而有助于设计更好的图像分类模型,而对分类模型的深度利用又有助于提升其他视觉任务的性能。这三个方面的研究内容在逻辑上依次递进,是对CNN分类模型基本原理,设计思路,以及应用方法的重要补充,对推动当前图像特征提取和分类研究具有重要意义。

语种中文
页码91
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/28344]  
专题自动化研究所_脑网络组研究中心
推荐引用方式
GB/T 7714
Zhang Jinpeng. 基于深度卷积网络的有监督图像特征提取和分类研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2019.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace