视觉信息是人类感知、理解和认识外部世界的最重要信息来源之一。近些年来，视觉神经信息解码领域引起了广泛的关注。先前的研究通常采用系统辨识的方法，通过研究脑活动与人脑接收视觉刺激之间的关系对大脑的视觉信息进行解码，从而推断大脑的功能机制。得益于神经信号采集技术（功能磁共振成像  （Functional Magnetic Resonance Imaging，fMRI）和脑电图 （Electroencephalography，EEG））的进步和人工智能技术的高速发展，通过非侵入手段对视觉神经信息解码变得切实可行，并取得了一定的进展。

但由于视觉刺激和脑信号的强异质性、脑信号模态缺失、解码信息单一、个体差异性大以及小样本等问题，现有的方法还难以有效地利用脑信号对视觉刺激进行图像信息解码。因此，研究更有效克服上述问题的视觉神经信息解码方法不仅能够促进人们对视觉加工机制的理解，而且能够为开发类脑机器感知方法提供新的视角。基于此目的，本文基于多模态深度学习开展视觉信息解码方法的研究，在提高视觉信息解码精度的前提下，有效克服视觉神经信息解码领域中存在的强异质性、信息单一、模态缺失和小样本等问题。本文的主要内容及创新点如下：

（1） 针对脑信号和图像模态强异质性、成对数据强依赖性和信息利用不充分等问题，本研究提出了面向视觉重建任务的半监督生成对抗网络方法。该方法将脑活动的语义解码和图像重建任务进行统一，利用语义信息作为脑信号和图像模态的桥梁，从而克服不同模态强异质性的问题。其次，该方法充分利用非成对的图像模态数据挖掘深层语义信息以辅助跨模态图像生成任务，极大减少了方法对成对模态数据的依赖性。研究结果表明，本研究提出的半监督对抗网络方法能够生成精度高和语义信息明确的图像。

（2） 针对解码的图像信息单一和远离自然场景等问题，本研究提出了基于自然场景的半监督协同训练的多标签语义预测方法。该方法融合协同训练网络和对称的语义特征翻译网络等模块，利用图像模态来辅助自然场景诱发的脑信号进行多标签学习。同时，该方法有效克服标签样本不足和脑信号模态缺失等问题，提高脑信号的解码精度。在多个独立数据集分析结果表明，本研究提出的半监督协同训练多标签语义预测方法能较好地提高脑信号到图像多标签语义的解码精度。

（3） 针对单被试小样本的问题，本研究提出了基于多模态对抗学习的多被试数据增广方法。该方法基于子空间和多个生成对抗网络将目标被试少量数据与其他被试数据相结合，有效地克服了单被试样本数目少和多被试差异大的问题，提高了单被试的解码精度。在多个独立数据集的分析结果表明，本研究提出的基于多模态对抗学习的多被试数据增广方法提高了单被试的脑信号到图像语义的解码精度。