CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名复杂场景下的行人再识别方法研究
作者徐博强
答辩日期2023-05-19
文献子类博士
关键词行人再识别 细粒度检索 跨域检索 遮挡行人再识别
英文摘要

随着智慧城市建设的不断推进,大量的监控设备已经被部署在各种公共场所,形成了庞大的分布式监控网络,从而产生了大量的视频监控数据。行人再识别技术结合了计算机视觉、机器学习和模式识别等领域的方法,通过提取监控画面中行人图像的外观特征并比较特征相似度,实现了关联不同摄像机中同一行人的轨迹图像。在公安刑侦、人物检索和人机交互等场景中,行人再识别技术具有广泛的应用前景。

与手工特征相比,基于深度学习的行人再识别方法利用深度神经网络提取出了更具判别性的行人特征,并在公开的学术数据集上展现了优异的再识别性能。然而,在实际应用过程中,行人再识别模型经常面临跨域、低光照、遮挡等复杂环境,具体而言可能遇到以下问题:(1)常规的行人再识别模型通常基于行人的衣着服饰提取特征,进而对行人身份进行判断。然而,在学校、工厂、银行等场景中,由于人们穿着相似的衣服,导致无法再根据衣着特征对行人身份进行判断,因此常规的行人再识别模型的准确率会大幅度下降。如何在这种情况下进行准确的行人再识别,对行人再识别模型的判别能力提出了挑战。(2)行人再识别模型在实际应用中涵盖学校、商场、车站、机场等多个场景。但是,当行人再识别模型在未经训练的领域上进行部署时,由于不同领域之间的差异较大,使得行人再识别模型在跨场景应用时性能显著下降,甚至无法使用,这对行人再识别模型的泛化性和域适应性提出了挑战。(3)实际应用场景中,人遮人和物遮人的情况经常出现。遮挡物的存在会在特征提取和特征匹配过程中引入噪声,并使得行人的部分特征缺失,从而导致遮挡行人再识别的准确率下降,这对行人再识别模型的鲁棒性提出了挑战。

本文针对上述挑战对行人再识别任务展开了研究,主要工作和创新点包括:

针对人们穿着相似衣服的细粒度行人再识别问题,由于这种情况下衣着特征不再可靠,本文提出了一种同时利用头肩特征和与颜色无关的特征辅助进行行人身份判别的行人再识别算法。该算法会通过一个轻量级的头肩分割层对头肩区域进行定位并提取对应特征。同时利用实例归一化来学习与颜色无关的特征,并且通过注意力机制来挖掘更加丰富的判别线索,以确保提取出的与颜色无关的特征拥有较强的表征性。本文建立了用于研究细粒度行人再识别的数据集FG-reID,并通过与其他方法的对比,验证了该行人再识别算法的有效性。
   
针对跨域行人再识别问题,本文提出了一种基于多专家网络的行人再识别算法。传统的多专家网络会面临两个问题:第一个问题是由于每个源域都需要设计一个对应的专家网络分支,整个模型的参数量会随着源域数目的增加而大幅度增加;第二个问题是大多数多专家网络只利用了领域特有的特征,忽略了对于跨域的不变特征的应用。针对上述2个问题,本文设计的行人再识别算法的所有专家网络共享除了批量归一化层之外的所有参数,从而使得即使源域数目增加,模型参数量也会保持相对稳定。同时该算法还利用实例归一化来提取跨域的不变特征,并且通过源域的批量归一化统计量和测试样本的实例归一化统计量之间的距离来衡量目标样本与源域之间的相关性,从而自适应的融合多个专家网络的特征。此外,本文还设计了一致性损失函数和情景训练算法,来增加模型的泛化性。本文在设计的3个测试协议上超过了现有的基线方法和其他相关工作,验证了该行人再识别算法的有效性。
   
针对遮挡行人再识别问题,本文总结出了主要面临的两个挑战:第一个问题是在特征匹配过程中遮挡的存在会引入噪声,使特征匹配的准确率降低;第二个问题是遮挡的存在会使得行人的部分特征缺失,从而使得提取的行人特征表征能力降低。针对上述两个问题,本文提出了一种主要由图匹配模块和遮挡特征恢复模块组成的行人再识别算法。为了减少特征匹配过程中遮挡的干扰,图匹配模块在特征匹配过程中主要关注于两幅图像中公共可见的区域。为了解决遮挡造成的行人部分特征缺失的问题,遮挡特征恢复模块利用查询图像的k阶近邻的特征来对查询图像被遮挡部分的特征做特征重建。本文在4个遮挡数据集上的性能超过了现有的基线方法和其他相关工作,验证了该行人再识别算法的有效性。

总而言之,本文针对行人再识别模型在实际复杂场景中可能面临的穿着相似衣服、跨域和遮挡的问题进行了深入的研究,并提出了多种有效的方法,提升了行人再识别模型的判别能力、泛化能力和鲁棒性,增强了模型的实际应用能力,推动了行人再识别课题的发展。

语种中文
页码126
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52316]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
徐博强. 复杂场景下的行人再识别方法研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace