CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名基于结构信息增强的图神经网络研究
作者呼奋宇
答辩日期2023-05-18
文献子类博士
关键词图神经网络 结构信息 邻居交互 注意力机制 多专家融合 多任务学习
英文摘要

图数据在现实世界中广泛存在,它可以自然地表示不同的对象及其之间的复杂关系。例如,在社交网络中,用户可以表示为节点,用户之间的好友关系可以表示为边。随着神经网络和深度学习技术的不断发展,近年来图神经网络在图数据分析中逐渐成为主流方法。虽然相关研究已经取得一些进展,但现有方法在利用图结构信息方面仍然存在较大提升空间。首先,对于节点级别的研究,由于图数据结构的千变万化,节点之间通常存在错综复杂的关系。为了学到节点之间的相似性和差异性,图神经网络需要拟合一个非常复杂的非线性函数,这对于图神经网络的非线性表达能力提出了挑战。其次,在图级别任务中,图数据通常包含丰富的结构信息和语义信息,如何自适应地提取图数据中的关键信息,提升图神经网络的判别能力,也是一大挑战。另外,在特定的标签分布下,图神经网络的性能通常会受到限制。如何更好地挖掘图的拓扑结构和标签分布之间的关系,也具有重要意义。本文以充分利用图数据的结构信息为切入点,深入挖掘结构信息和特定问题之间的内在联系。具体地,在节点级别、图级别和标签级别三种不同层次的图任务中,研究如何增强图神经网络的非线性表达能力、关键信息的提取能力、和特定标签分布下的判别能力。本文取得的研究成果主要包含以下四项:


1. 提出一种基于邻居聚合和交互的思路来解决已有图神经网络非线性表达能力不足的问题。本文首先总结了已有的图神经网络,指出它们仅通过非线性激活函数来建模节点之间的非线性关系。接着从理论上证明非线性激活函数的本质作用是建模邻居之间的交互,并且这种交互作用很弱。为了增强图神经网络的非线性表达能力,本文提出显式地建模邻居之间的交互信息,然后把邻居聚合的信息和邻居交互的信息整合起来。由于邻居交互会产生很多的交互项,为了减小算法复杂度,本文对网络中的邻居交互模块作出一定的假设简化,并设计了双路交互网络。顾名思义,双路交互网络包含两个支路,其中一个支路负责邻居聚合模块的学习,另一个支路负责邻居交互项参数的学习。对这两个支路得到的结果做进一步融合,即可得到非线性表达增强的图神经网络。通过这种方式,节点之间的非线性关系可以被网络学到。该方法与现有图神经网络的算法复杂度保持一致,并且可以用于用于节点级别的分类任务和链接预测任务。大量实验验证了这种方法的有效性。

2. 提出一种基于二阶全局注意力的方法,用于图级别关键信息学习。图数据包含复杂多样的结构信息和语义信息,这些信息对图级别判别任务的影响可能不同,因此神经网络需要自适应地提取重要信息。针对此问题,本文从两方面设计全局注意力机制:首先,在通道方面,设计通道注意力机制对图表达的不同维度进行加权,从而对某些语义进行增强。特别地,考虑到不同通道语义之间存在关联关系,本文进一步提出一种二阶注意力机制。其次,由于同一个图中不同节点的重要性也不尽相同,本文还设计了节点注意力,对不同节点的权重进行自适应调节。实验结果表明,通道注意力和节点注意力可以有效学习图数据中的关键信息,最终提升图分类和图回归任务的性能。


3. 提出一种基于结构信息编码的多专家融合图神经网络。在标签分布不均匀的场景下,图神经网络的预测会偏向于多类样本,导致模型在少类样本上的表现很差。本文考虑到图的结构特征和标签分布不均匀之间的关系,提出了一种基于结构信息编码的多视图多专家融合策略:首先,在邻居聚合和图池化的过程中,分别设计了多样化消息传递机制和多样化消息读出机制。这两种机制可以提取不同的结构信息,并得到不同视图的表达。其中,每个视图下的表达对应一组多专家分类器。这样既可以充分考虑到图结构信息的影响,又可以保证多专家网络的多样性。在标签分布不均匀的图分类数据集上,大量的实验表明该方法可以提升图神经网络的整体性能,并显著提高少类样本的分类准确率。


4. 提出一种基于结构引导的多任务学习图神经网络。本文以经典的多任务分子预测场景为例,旨在解决训练集中的标签缺失问题。本文设计了一个分子-任务二部图,将训练集中缺失标签补全问题转化为该二部图上的边预测问题。该二部图的结构信息可以显式地引导模型学习分子和任务之间的复杂关联,包括分子之间的相似性、任务之间的相关性、以及分子和任务的共现关系等。在该二部图上进一步设计图神经网络并训练,可以生成伪标签,从而对缺失标签进行补全。此外,本文还提出了一种基于不确定度的伪标签选取策略,它可以提供高质量的伪标签,减少噪音的影响。实验表明,该方法不仅可以在缺失标签补全方面保证较高准确率,而且可以提升模型对于多任务学习的整体性能。

语种中文
页码122
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52302]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
呼奋宇. 基于结构信息增强的图神经网络研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace