近年来，深度神经网络在人工智能领域受到了学术界和企业界的广泛关注。作为神经网络应用部署的核心步骤，如何利用反向传播算法针对特定数据有效高效地训练神经网络是一个值得深入探讨的问题。特别地，在神经网络训练过程中有两个基本实体：数据和神经网络结构。其中，数据定义了神经网络待处理的任务，网络结构定义了处理该任务使用的函数形式。然而在现实应用中，由于各种原因对实体的观测是不充分的，比如无监督学习中数据的相似关系、非欧氏空间中数据的局部结构关系、神经网络训练过程中的拓扑连接关系等等。为了提升并拓展神经网络的研究和应用，本文将从三个方面深入研究基本实体的关系，即数据外部关系、数据内部关系和网络结构关系。综合来讲，论文的主要贡献为：

1. 提出深度自进化模型来建模分析数据样本之间的关系。为了让神经网络可以更好地处理无监督学习任务，文中将样本和样本之间的关系学习任务转换为一个成对样本的二分类问题，并通过自进化的有标签样本选择完成了神经网络的无监督训练过程。为了提高学习到特征表示的物理意义，深度自进化模型在特征学习中引入了聚类约束，以此来指导神经网络同时进行特征学习和聚类分析，极大提升并拓展了深度神经网络在无监督学习领域的研究和应用。

2. 提出结构感知卷积算子来根据数据的局部结构关系聚合数据。为了让深度卷积神经网络有能力处理嵌入在非欧氏空间中的数据，结构感知卷积将传统离散的有限维度的卷积核泛化成了连续的无限维度的单变量函数。根据函数拟合理论，结构感知卷积不仅可以参数化为一组基函数的加权求和，还可以将加权系数在整个空域共享。由于结构感知卷积的可微性，结构感知卷积网络可以通过反向传播算法进行训练，来同时处理欧氏空间和非欧氏空间中的数据。

3. 提出局部聚合图网络模型，引入集合函数来实现集合数据的局部聚合，并通过泛化后的Kolmogorov-Arnold表示定理来构建统一形式的集合函数。理论上，表示定理中的内部函数和外部函数被分解为基函数的线性组合，所学的基函数系数可以实现在全局空间内共享，使得局部聚合图网络可以用一组共享的参数学习集合数据的高层特征表示。实际中用Chebyshev、Legendre、Laguerre、Hermite基函数在集合数据上验证了局部聚合图网络处理集合数据的有效性。

4. 提出基于集成gumbel-softmax的网络结构搜索方法，通过可微的方式来学习网络结构组件之间的拓扑连接关系和网络构搜索的高效离散决策。集成的gumbel-softmax可通过一种可微的方式执行离散决策，这不仅可以用来选择层与层之间的函数操作，还可以通过反向传播算法进行网络结构学习。实验表明集成的gumbel-softmax可以有效且高效地学习高性能的卷积网络和递归网络，在提升模型性能的前提下大幅度减少了网络训练过程中的人为干预。