神经解码旨在根据大脑神经活动信号预测被试所感知的刺激或者心理状态，它是研究大脑信息表征机制的重要工具，也是构建脑机接口的核心模块。特别地，语言作为人类独有的高级认知功能和日常沟通交流的主要工具，研究语言的神经解码具有重要的意义。近年来，随着脑成像技术的进步和自然语言处理模型的快速发展，从神经影像中解码语言受到了越来越多的关注，并取得了一定的进展。由于神经影像数据噪声很大，已有的工作将语言的神经解码简化为成对分类任务，该任务是在给定两个候选项的情况下预测神经影像对应两个刺激中的哪一个。尽管该任务目前广泛应用于大脑语言表征机制的研究，并得到了一些重要结论，但是它对于构建用于脑机接口的实用神经解码器存在明显不足。首先，在解码词语时，成对分类解码器无法将一张神经影像直接预测到词表中的某个词语。其次，在解码句子时，它只能从两个句子中进行挑选，无法灵活生成文本。为了克服上述缺陷，推动实用神经解码器的发展，本文提出了两个新的神经解码任务——跨模态完形填空任务以及跨模态文本生成任务，逐步探索从神经影像中解码文本的方法。本文主要研究内容及创新点总结如下：

1. 提出了基于跨模态完形填空任务的神经解码方法

       首先，我们研究从神经影像解码词语的方法。已有的工作在多个数据集上表明了将神经影像从两个候选词语中区分开来的可行性，而对于能否将神经影像从词表中的所有词语中区分开来这个问题依然没有定论。由于神经影像数据具有噪声大样本少的特点，直接回答这个问题非常困难。通过引入与目标词语相关的上下文作为辅助信息，我们将问题形式化为跨模态完形填空任务。这个任务是在给定一张神经影像和与目标词语相关的上下文的情况下，对目标词语进行预测。为了解决该任务，我们借助自然语言处理中强大的预训练掩码语言模型并提出了一个通用的两步骤方法：首先从神经影像中提取特定的特征，然后将这些特征融入预训练语言模型中进行预测。特别地，我们提出了表征相似性检索方法以从神经影像中提取语义特征。在两个神经影像数据集共24个被试上，我们的方法平均取得了28.91%的Top-1准确率以及54.19%的Top-5准确率，显著高于基线模型。该结果表明我们的方法可以作为跨模态完形填空任务的一个强基线模型。更重要地，它表明了在上下文辅助的情况下，将神经影像分类到词表中某个词语是可行的。

2. 提出了基于跨模态文本生成任务的神经解码方法

       进一步地，我们研究从神经影像解码自然语言文本的方法。我们认为，一个实用的语言神经解码器应具备文本生成的能力。为此，我们提出了跨模态文本生成任务，该任务是在给定文本前缀和一张神经影像的条件下生成与神经影像的刺激相关的文本。不同于以往的任务，该任务要求以文本生成方式进行神经解码。为了解决该任务，我们采用与第一个工作类似的两步骤方法，不同在于，我们使用了预训练生成模型。特别地，我们通过探测实验确定了神经影像与文本这两种模态特征融合的位置，并发现预训练模型的嵌入层是最佳选择。在两个神经影像数据集共24个被试上，我们的方法平均取得了18.50%的Top-1准确率，相比基线模型提升9.12个百分点。这意味着，神经影像信息可用于指导预训练模型进行文本生成，换言之，以文本生成的方式进行神经解码在一定程度上是可行的。