QQ客服 官方微博 反馈留言

题名	弱监督判别学习算法研究
作者	戴博
学位类别	工学硕士
答辩日期	2011-05-27
授予单位	中国科学院研究生院
授予地点	中国科学院自动化研究所
导师	胡包钢
关键词	聚类分析 半监督分类 半监督距离度量学习 非监督光滑性假设 后验稀疏假设 熵 高斯过程 Clustering Semi-supervised Classification Semi-supervised Metric Learning Unsupervised Smoothness Assumption Posterior Sparsity Assumption Entropy Gaussian Process
其他题名	Discriminative Learning with Less Supervision
学位专业	控制理论与控制工程
中文摘要	弱监督判别学习针对传统判别学习参数独立性假设造成的判别模型在无标记样本上无学习能力的问题，主要研究如何通过导入先验知识或者合理假设在给定少量标记样本或者无标记样本的情况下恢复其学习能力。修改传统的判别算法，使得判别算法优点能够迁移至弱监督学习场景逐渐成为了机器学习中重要课题之一。本文首先简要给出了弱监督判别学习问题的定义并回顾了研究现状。根据弱监督学习目标以及学习场景设定，针对现有弱监督判别学习的不足，本文主要贡献包括三个方面： 1. 半监督分类算法研究。半监督支持向量机仅仅使用边界点信息构成其分类面而丢弃非边界点中包含的整体几何信息。本文针对这一缺点，提出了紧密性假设。根据此假设实现了紧密边界机(Compact Margin Machine (CMM)) 将非边界点（非标记数据以及标记数据）中包含的整体信息引入目标函数，使用凹凸规划(Constrained Convex-Concave Procedure (CCCP))求解目标函数。实验证明，算法在实际数据中表现优越。 2. 判别聚类算法研究。本文将半监督学习中的低密度分割假设迁移至聚类问题。使用信息理论和贝叶斯非参数技术来实现这一假设。相关贡献包括： - 利用最小化后验条件熵对大部分现存的判别学习算法给出了信息论解释。从而提供了新的分析视角。 - 从这一信息论聚类框架出发，提出了多种新型判别聚类算法，包括Logistics 聚类，非监督条件随机场以及最大相对边界聚类(Maximum Relative Margin Clustering (MRMC))。并且针对其中最大相对边界聚类算法进行了加速。 - 将监督条件下的贝叶斯非参数技术――高斯过程推广至非监督情况，并且将边界定义引入该模型。从而使得模型能够充分地利用Universum指导聚类。 在人工和实际数据集上证明了本文提出的部分算法的特点以及优异性。 3. 半监督距离度量学习算法研究。过去大部分距离度量算法仅仅利用"must-link"和"cannot-link"样本点对来学习度量矩阵。本文首次将最大熵原则引入度量矩阵学习，并利用后验稀疏假设拓展模型学习能力至未标记样本点对。实验证明，当缺乏监督信息时，这一算法显著优于现存距离度量算法。
英文摘要	Because of the parameter independent assumption, the traditional discriminative models cannot be influenced by the unlabeled data. Discriminative learning with less supervision tries to modify this assumption and/or exploits prior knowledge to use the unlabeled data to improve the performance of the models. How to extend the traditional discriminative models to less supervised problems has attracted more and more researchers. In this thesis, we give a definition of less supervised problem and review the status of the research in this topic. The main contributions of this thesis include three: 1.Semi-supervised Classification. Semi-supervised SVM just utilizes the instances lying in the marginregion and abandons the other geometry information contained in boththe other labeled and unlabeled points. We propose the Compact Assumption. Based on the assumption, we design the Compact Margin Machine (CMM) to embed the global information into the model and the optimization could be solved by Constrained Convex-Concave Procedure (CCCP). Experiments valid the classification ability of CMM. 2.Discriminative Clustering.By extending the Low-Density Separation Assumption to clustering problems, we implement this assumption for clustering via information-theoretic method and Bayesian nonparametrics. The key contributions of this part include: - We provide interpretation of several famous discriminative clustering algorithms from information-theoretic view. - Based on the unified information-theoretic framework, we propose several novel discriminative clustering algorithms, such as Logistics Clustering, Unsupervised CRF and Maximum Relative Margin Clustering (MRMC). We also accelerate the MRMC to make it practical. - We extend the supervised Bayesian nonparametrics, Gaussian Process, to unsupervised setting. By introducing the `margin' concept to this model, our algorithm could utilize Universum to guide clustering. Experimental results show that our methods are comparable, sometime even better than the extant algorithms. 3. Semi-supervised Metric Learning. We first extend the Maximum Entropy Principle to metric learning. Compared to the traditional metric learning algorithms that just involve 'must-link' and 'cannot-link' pairs as the input, we introduce Posterior Sparsity Assumption to realize the learning ability of discriminative models on unlabeled pairs. Experimental results illustrate our method is statistically better than existing algorithms, especially...
语种	中文
其他标识符	200828014629070
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/7599]
专题	毕业生_硕士学位论文
推荐引用方式 GB/T 7714	戴博. 弱监督判别学习算法研究[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2011.

个性服务

查看访问统计

相关权益政策

暂无数据

收藏/分享

除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。