深度神经网络的压缩研究
韩云飞; 蒋同海; 马玉鹏; 徐春香; 张睿
刊名计算机应用研究
2018
卷号35期号:10页码:2894-2897+2903
关键词神经网络 压缩 网络删减 参数共享
ISSN号1001-3695
英文摘要

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案:首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5?和12.1?。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。

内容类型期刊论文
源URL[http://ir.xjipc.cas.cn/handle/365002/5203]  
专题新疆理化技术研究所_多语种信息技术研究室
新疆理化技术研究所_环境科学与技术研究室
作者单位1.中国科学院新疆理化技术研究所
2.新疆民族语音语言信息处理实验室
3.中国科学院大学
推荐引用方式
GB/T 7714
韩云飞,蒋同海,马玉鹏,等. 深度神经网络的压缩研究[J]. 计算机应用研究,2018,35(10):2894-2897+2903.
APA 韩云飞,蒋同海,马玉鹏,徐春香,&张睿.(2018).深度神经网络的压缩研究.计算机应用研究,35(10),2894-2897+2903.
MLA 韩云飞,et al."深度神经网络的压缩研究".计算机应用研究 35.10(2018):2894-2897+2903.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace