CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名基于脉冲神经网络的语义理解及推理研究
作者姜承志
答辩日期2024-05-18
文献子类硕士
关键词脉冲神经网络
英文摘要

脉冲神经网络,作为第三代人工神经网络的代表,因其事件驱动的特性、鲁棒性和低能耗而备受瞩目。尽管如此,脉冲神经网络处于发展的早期,面临着准确度不足以及下游应用范围有限的挑战。语义理解和推理是是人工智能领域的核心能力,其结合能够显著提升机器对复杂信息的处理能力,并广泛应用于各种下游任务中。因此,本研究聚焦于脉冲神经网络的类脑特性,将其应用于文本语义理解、图像语义理解和推理问题中。不仅扩展了脉冲神经网络的下游应用,提高了脉冲神经网络的精度,而且深入挖掘了其在语义理解和推理问题解决方面的潜力。研究从单个神经元的层面出发,通过神经元群体,最终达到脑区之间的协同工作,运用脉冲神经网络的类脑功能,实现了从局部到整体、由浅入深的研究进程,实现对大脑的生物智能抽象化。本研究展示了脉冲神经网络如何通过其独特的机制,结合语义理解与逻辑推理,为复杂认知任务提供创新的解决途径。主要研究内容归纳如下:

1. 基于脉冲神经网络的文本语义理解模型。现阶段脉冲神经网络在文本语义理解领域的研究尚未充分考虑类脑角度。因为人脑处理信息的简洁性和高效性,借鉴其文本语义理解机制对于指导机器语言处理具有重要意义。人脑的信息编码采用的是脉冲形式,这与人工神经网络使用的密集向量编码方式存在根本的差异。同时,人脑依赖生物神经元处理信息,而人工系统则依靠人工神经元。因此,脉冲神经网络成为连接人脑文本语义理解的理想桥梁。本研究采用脉冲神经网络作为工具,进行脑启发式的文本语义理解研究。研究首先开发了一种融合到达时间和速率的字符级别脉冲编码方法,有效地实现了文本信息向脉冲形式的转换。随后通过设计一个定制的卷积神经网络,并将其转换为脉冲神经网络模型的方式对编码好的信息进行分类,来进行基于脉冲神经网络的文本语义理解。实验结果验证了所提编码和分类模型的有效性,并展示了脉冲神经网络在文本语义理解方面的广阔前景,为未来的研究者提供了一个探索脉冲神经网络在更广泛文本语义理解应用中的可能性的新视角。

2. 星形胶质细胞启发的图像语义理解模型。脉冲神经网络在图像语义理解方面相较于传统人工神经网络仍存在一定的性能差距。因此,本研究以神经元间的相互作用为起点,旨在提高脉冲神经网络在图像语义理解任务中的性能。星形胶质细胞是大脑中的支撑细胞,已被证明其在大脑内广泛连接。本研究受到神经元-星形胶质细胞-神经元三方突触机制的启发,设计了一种抽象的三方突触模型,以此替代基于脉冲神经网络的Transformer模型中缺乏生物可解释性的自注意力机制部分。该模型利用脉冲神经网络的类脑特性和神经元动力学特征,增强了模型的性能,并将整个作用过程分为两个阶段进行实现。应用静态图像分类和动态图像分类两种实验,验证了该模型在图像语义理解中的有效性,并应用噪声实验证明了星形胶质细胞调节的鲁棒性,为利用神经元群体的相互作用来增强脉冲神经网络的性能和容错能力开辟了新的研究方向。

3. 融合脉冲神经网络与符号的推理模型。研究在将脉冲神经网络应用于逻辑推理方面仍然较少。神经科学的发现表明,人脑内的逻辑推理涉及多个脑区的协同工作。本研究受到认知科学的双通道理论和神经科学对人脑协同推理机制的启发,开发了一个基于脉冲神经网络的逻辑推理模型。该模型的设计目的是模拟人脑在进行逻辑推理时的处理机制,从而执行复杂的逻辑推理任务,并深入探究大脑逻辑推理能力的基础原理。为了实现这一目标,模型结合了脉冲神经网络的时空动态特性,以逼近大脑处理逻辑运算的自然方式。实验结果显示,所提出的模型能够有效地执行逻辑推理任务。此外,该研究从人工智能的视角对大脑的逻辑推理能力进行了探讨,并旨在利用人工智能技术增强人脑的推理过程。这不仅为人工智能领域带来了新的研究视角,也为开发能够执行高级认知任务的智能系统奠定了基础。

语种中文
页码96
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/56509]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
姜承志. 基于脉冲神经网络的语义理解及推理研究[D]. 2024.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace