深度学习是目前最为热门的研究领域之一，随着算法的不断改进创新以及数据资源的不断累积，深度学习被应用到越来越多的领域中并在多种任务上取得了非常突出的表现。在医学领域，已有许多研究尝试使用深度学习技术对神经影像进行分析，辅助医生进行神经精神疾病的诊断，在减少医生工作负担的同时提升诊断效率及其准确率。

    对于深度学习来说，深度模型训练数据的规模大小很大程度上影响着模型最终的性能表现。而与常见的自然场景数据集相比，神经影像数据集往往规模较小，这容易导致深度模型出现过拟合问题，一定程度上限制了深度学习在神经精神疾病分类任务上的进一步提升与发展。

    基于上述背景，本文重点研究基于磁共振影像的神经精神疾病分类问题，通过网络结构优化与引入迁移学习方法缓解深度学习在神经影像数据集上所遇到的过拟合问题，提升深度模型在神经精神疾病分类上的性能表现，主要工作内容与创新点可归纳如下：

    （1）提出了融合CNN与Transformer的新型网络架构Trans-ResNet。所提出模型兼具了Transformer易于对长距信息进行建模与CNN易于对位置信息进行建模的优点。我们在多种神经精神疾病数据集上对所提出方法进行验证，结果表明Trans-ResNet能够取得明显优于 CNN、Transformer模型的性能表现，所提出的融合方式能够有效缓解Transformer在磁共振影像数据集上的过拟合问题。

    （2）基于所提出模型，将先进的masked autoencoder (MAE)预训练方法引入至基于神经影像的神经精神疾病分类任务中，创新性地将MAE原始方法中的重建输入图像更改为重建CNN输出的特征图，使其能够适用于所提出的Trans-ResNet模型，实验结果表明MAE预训练方法能够在不利用标注信息的前提下，有效地提升深度模型在多种下游神经精神疾病分类任务上的性能表现。

    （3）融合多种先进的无监督预训练及有监督预训练方法，基于大规模预训练数据集对深度模型进行多阶段预训练，过程中引入生成式无监督学习、判别式无监督学习及多任务有监督学习方法，建立了适用于不同神经精神疾病分类任务的预训练模型。本文在多个神经精神疾病分类数据集上对所提出方法进行了验证。结果表明所提出的预训练方法能够显著提升深度模型的分类表现且具有良好的泛化性，在未来可用于各种其他神经精神疾病的分类任务上。