基于神经网络的自然语言处理研究

CORC > 自动化研究所 > 中国科学院自动化研究所 > 毕业生 > 博士学位论文

题名	基于神经网络的自然语言处理研究
作者	李长亮
学位类别	工学博士
答辩日期	2015-05-25
授予单位	中国科学院大学
授予地点	中国科学院自动化研究所
导师	徐波
关键词	词向量神经网络递归神经网络词语相似度情感分析句子分类 word embeddings neural networks recursive neural networks word similarity sentiment analysis sentence classification
其他题名	Natural Language Processing Based on Neural Networks
学位专业	模式识别与智能系统
中文摘要	神经网络是模拟人类神经结构和功能的数学模型，它是近年来机器学习领域发展最为迅速的研究方向之一，在一系列人工智能的重要任务中（比如图像识别、语音识别等等），取得了突破性的成果。同时，神经网络也为自然语言处理领域的深入研究，提供了新的视角和方法。本文基于神经网络，对自然语言理解进行了相关研究，主要的研究内容如下：  基于交叉递归神经网络的中文词语相似度计算为解决中文词语相似度计算问题，本文提出了一种交叉递归神经网络模型。该模型利用两个神经网络，进行基于汉字到中文词语的向量化表示，然后利用获得的词向量表示，进行中文词语相似度的计算。该方法的优势是：1）无需进行中文分词，从而避免了未登录词等无法识别的问题；2）不需要大规模语义词典，减少了人工介入。在SemEval-2012任务4（中文词语相似度计算）公开测评数据集上进行实验验证，与SemEval-2012任务4的四个提交系统、以及直接利用词向量计算相似度的方法进行了对比，实验结果显示本文提出的方法取得了最好的效果。该方法为中文词语相似度的计算，从新的视角提出了一种可行的解决方案。  基于统计窗神经网络的词向量学习针对词向量学习，本文提出了一种统计窗神经网络模型。该模型能够将语料的统计信息有效的嵌入神经网络模型。该模型通过引入统计函数，来表达语料中词-词共现信息；通过引入距离窗函数，来表达语料中词-词之间距离信息。该模型在词语相似度任务上，与通用的词向量学习工具Word2Vec，在多个英文测试集（WordSim 353、RG、MC）、多个维度上（20、50、100）进行实验对比。实验结果表明，基于本文模型训练的词向量在所有数据集、所有维度上都取得了超过基于Word2Vec训练的词向量表现，充分说明了本文方法的有效性。  基于层次递归神经网络的情感分析针对情感分析问题，本文提出一种层次递归神经网络模型。该模型引入短-短语节点和长-短语节点的概念，将句子结构分解成不同的组成层次。基于这种层次结构，用不同的权重对递归神经网络进行有监督训练，从而完成模型的情感标签分类学习。为了增强中文的情感分析研究，本文构建了中文影评树库。结合英文公开情感分析数据集（Stanford Sentiment Treebank）进行情感标签预测的实验，与支持向量机等传统机器学习模型以及RNN、MV-RNN和RNTN等神经网络模型进行对比，实验结果显示本文提出的模型在所有数据集上都取得了最好的预测结果，充分说明了本文方法的有效性。  基于递归神经网络的句子分类针对句子分类问题，本文提出将词性信息融入到递归神经网络的方法。基于该方法，递归神经网络以更灵活的语义组合方式，有效地进行由词到句子的向量表示。本文方法能够挖掘句子深层语义信息，从而完成句子分类问题。本文构建了图书、购票两个领域的数据集，在这两个数据集上进行实验。并与传统的基于语义扩展、支持向量机分类模型以及RNN等多个方法进行对比，实验结果显示本文方法在两个数据集上都取得了最好的句子分类结果，充分说明了将词性信息融入递归神经网络的可行性和有效性。
英文摘要	Neural network is a mathematical model to imitate the structure and function of the human nerves, which is one of the most rapidly developing research directions in the field of machine learning. Some significant breakthroughs have been achieved due to neural network technologies in a series of artificial intelligence tasks (such as image recognition, speech recognition and so on). Furthermore, neural network pro-vides a new perspective and method for the research of natural language processing. In this dissertation, I study the tasks in natural language understanding based on neural network technologies. The main contents are as follows. 1. Computing Chinese word similarity based on Crossed Recursive Deep Model This dissertation introduces a novel Crossed Recursive Deep Model (CRDM) for measuring Chinese word similarity. CRDM uses two neural networks, respec-tively, to quantify Chinese characters and words, then Chinese words similarity is computed by the word embeddings. The proposed approach has two properties. 1) the model skips the process of word segmentation, so as to eliminate the accumula-tion errors caused by Chinese word segmentation; 2) the model no longer uses large-scale dictionary or corpus, thereby reducing the effect of artificial rules. For task 4 of SemEval-2012(Chinese word similarity computing), the experiment results show that CRDM can achieve the best results compared with four systems submitted to SemEval-2012 and direct method of calculating similarity using word vectors. Thus CRDM provides a new perspective to compute Chinese word similarity. 2. Learning word embeddings by neural networks with statistics window model This dissertation designs a neural network with statistical window model for learning word embeddings, which can embed effectively the corpus statistics into the neural network. In the model, word-word co-occurrence information is introduced by statistical function of corpus, the distance information between two words is intro-duced by window function. Compared with general tool Word2Vector for word sim-ilarity task by data-sets (WordSim 353, RG, MC) and multiple dimensions(20, 50, 100), the experiment results show the validity of our model, which can learn word embeddings efficiently that better capture the semantics of words. 3. Sentiment analysis based on recursive neural network This dissertation introduces a hierarchical recursive neural network for sentiment analysis. A sentence is decomposed into differe...
语种	中文
其他标识符	201218014628043
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/6680]
专题	毕业生_博士学位论文
推荐引用方式 GB/T 7714	李长亮. 基于神经网络的自然语言处理研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2015.