| 题名 | 面向陪伴机器人应用的人脸表情识别 |
| 作者 | 张文萍 |
| 答辩日期 | 2021-05-21 |
| 授予单位 | 中国科学院沈阳自动化研究所 |
| 授予地点 | 沈阳 |
| 导师 | 贾凯 |
| 关键词 | 人脸表情识别 陪伴机器人 类内类间差异 分布不平衡 实时人脸表情识别 |
| 学位名称 | 专业学位硕士 |
| 其他题名 | Facial Expression Recognition for Companion Robot Application |
| 学位专业 | 控制工程 |
| 英文摘要 | 人脸表情识别在人们日常交流中占有非常重要的地位，在人机交互、行为分析和情感计算等领域都有着广泛的应用前景。随着中国老龄化社会的加剧，很多老人缺少子女的陪伴，常处于孤独的状态，所以面向陪伴机器人应用的人脸表情识别成为一个重要的研究课题。随着深度学习的发展，人脸表情识别这一研究领域也有了很大的进展，但是由于表情识别容易受主体、姿态和光照等因素的影响，因此人脸表情识别中仍然存在着很多问题。本文主要针对主体因素和表情数目因素对表情识别的影响分别给出解决方案，并针对实时人脸表情识别建立一个更完善的识别流程。本课题的主要工作总结如下：（1）针对主体因素对表情识别造成的相同表情表现差异大不同表情表现差异小的影响，本文首先使用cGAN生成表情脸对应的中性脸，然后利用中间提取的残留的表情信息用作CNN的特征输入；其次在CNN中，本文使用了Softmax损失函数与ECE损失函数共同优化网络。相比于Island损失函数，ECE损失函数考虑了困难样本对类内距离损失的影响，希望降低那些离样本中心点太远的特征对网络的优化。通过不同的损失函数在Oulu_CASIA数据集上的测试性能结果与CK+，JAFFE，SFEW，RAF和Older数据集上的泛化性能结果对比，结果表明ECE损失函数相比于Island损失函数同时提高了测试性能与泛化性能。（2）针对表情数目因素对表情识别造成的多样本表情识别准确率高而少样本表情识别准确率低的影响，本文使用RAF-DB数据集和FERPlus数据集进行测试性能实验与交叉泛化性能实验。利用ResNet18网络进行表情特征提取与分类，并使用Softmax损失函数，weighted_Softmax损失函数，以及weighted_Softmax损失函数与weighted_Island损失函数，weighted_Cluster损失函数，weighted_ECE损失函数和weighted_LCE损失函数配合使用的几种损失函数分别优化网络，对比其对数据集中每一类表情的识别性能、平均识别准确率和全局识别准确率。观察各个表情的识别准确率发现，改进的损失函数相比于Softmax损失函数在少样本的表情类别的识别准确率上均有不同程度的提升，平均识别准确率也得到了提升。（3）针对实时人脸表情识别的整个流程，本文给出了详细的介绍，并针对其中耗时最长的人脸检测部分进行了检测时间与检测性能的对比。通过对检测时间与性能的对比以及不同的检测方法对表情识别的影响发现，MTCNN人脸检测器相比于dlib（n=1）人脸检测器检测时间更快，检测效果相差不大，但是由于本文采用的MTCNN的预训练模型人脸检测之后得到的检测框太大，导致表情识别不稳定。dlib（n=2）的检测效果要比dlib（n=1）和MTCNN稍微差一些，但是检测速度更快，而且其检测得到的人脸大小更适合送入表情识别网络进行表情识别，因此不考虑识别距离这一因素，本文在实时人脸表情识别中采用dlib（n=2）进行人脸检测。 |
| 语种 | 中文 |
| 产权排序 | 1 |
| 页码 | 71页 |
| 内容类型 | 学位论文 |
| 源URL | [http://ir.sia.cn/handle/173321/28972]  |
| 专题 | 沈阳自动化研究所_其他 |
| 作者单位 | 中国科学院沈阳自动化研究所 |
| 推荐引用方式 GB/T 7714 | 张文萍. 面向陪伴机器人应用的人脸表情识别[D]. 沈阳. 中国科学院沈阳自动化研究所. 2021. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论