【摘要】：半監(jiān)督分類學(xué)習(xí)是機(jī)器學(xué)習(xí)中一個重要研究領(lǐng)域,目前已有大量半監(jiān)督分類學(xué)習(xí)算法被相繼提出。但在真實(shí)的學(xué)習(xí)任務(wù)中,研究者很難決定究竟選擇哪一種方法。據(jù)我們所知,目前并沒有相關(guān)的理論或經(jīng)驗(yàn)指導(dǎo)。另外,流形正則化(Manifold regularization,MR)為半監(jiān)督分類學(xué)習(xí)提供了強(qiáng)有力的學(xué)習(xí)框架,但是傳統(tǒng)流形正則化方法存在的兩個問題:1)流形正則化方法通常事先構(gòu)建流形結(jié)構(gòu)圖,并且在學(xué)習(xí)的過程中固定。流形結(jié)構(gòu)圖的構(gòu)建與分類學(xué)習(xí)的過程相互獨(dú)立,所建圖并不一定有利于后續(xù)分類。2)圖的構(gòu)建過程中存在若干可調(diào)參數(shù),但是目前半監(jiān)督學(xué)習(xí)中仍然缺乏參數(shù)選擇的有效解決方法,這為流形結(jié)構(gòu)圖的構(gòu)建帶來一定的障礙。因此,本文研究的內(nèi)容主要包含以下兩個部分:首先,為在半監(jiān)督分類方法的選擇方面給出經(jīng)驗(yàn)指導(dǎo),對比了典型的半監(jiān)督分類方法。因現(xiàn)有半監(jiān)督分類方法可按照所采用的數(shù)據(jù)分布假設(shè)進(jìn)行劃分,因此本文以最小二乘(Least Squares,LS)方法為基準(zhǔn),研究比較了基于聚類假設(shè)的轉(zhuǎn)導(dǎo)支持向量機(jī)(Transductive Support Vector Machine,TSVM)、基于流形假設(shè)的正則化最小二乘分類(Laplacian Regularized Least Squares Classification,LapRLSC)方法、同時利用兩種假設(shè)的SemiBoost以及不利用任何假設(shè)的隱式約束最小二乘(Implicitly Constrained Semi-supervised Least Squares,ICLS)方法的分類性能。獲得如下研究結(jié)論:1)在已知數(shù)據(jù)分布的情況下,利用相應(yīng)數(shù)據(jù)分布假設(shè)的方法可保證較好的分類性能;2)在對數(shù)據(jù)分布沒有任何先驗(yàn)知識且樣本數(shù)量有限的情況下,TSVM能夠達(dá)到較高的分類精度;3)在較難獲得樣本類別標(biāo)記而又強(qiáng)調(diào)分類安全性時,宜選擇ICLS,而LapRLSC也是較好的選項(xiàng)之一。其次,提出了一個基于自適應(yīng)圖的半監(jiān)督流形正則化分類學(xué)習(xí)框架(簡稱AGMR),同時進(jìn)行圖的構(gòu)建和分類學(xué)習(xí)。在該框架中,圖的構(gòu)建和分類學(xué)習(xí)過程相互統(tǒng)一,從而相互促進(jìn);同時,流形結(jié)構(gòu)圖的參數(shù)隨著學(xué)習(xí)的過程調(diào)整,無需事先給定。對于圖權(quán)值約束,分別采用熵約束和稀疏約束,發(fā)展出熵約束AGMR(AGMR_entropy)和稀疏約束AGMR(AGMR_sparse)方法。實(shí)驗(yàn)結(jié)果表明新方法能夠有效提升傳統(tǒng)流形正則化框架的學(xué)習(xí)性能。
[Abstract]:Semi-supervised classification learning is an important research field in machine learning. At present, a large number of semi-supervised classification learning algorithms have been proposed one after another. But in real-life learning tasks, it is difficult for researchers to decide which method to choose. As far as we know, there is no relevant theoretical or empirical guidance. In addition, manifold regularization (Manifold regularization,MR) provides a powerful learning framework for semi-supervised classification learning, but there are two problems existing in traditional manifold regularization methods: 1) Manifold regularization methods usually construct manifold structure graphs in advance; And in the process of learning fixed. The construction of Manifold structure graph and the process of classification learning are independent of each other, and the graph is not necessarily beneficial to the subsequent classification. 2) there are some adjustable parameters in the process of graph construction. However, there is still a lack of effective solutions to parameter selection in semi-supervised learning, which brings some obstacles to the construction of manifolds. Therefore, the content of this paper mainly includes the following two parts: firstly, in order to give empirical guidance on the selection of semi-supervised classification methods, the typical semi-supervised classification methods are compared. Because the existing semi-supervised classification methods can be divided according to the data distribution hypothesis, this paper studies and compares the transduction support vector machine (Transductive Support Vector Machine,TSVM) based on the clustering hypothesis based on the least squares (Least Squares,LS) method. The regularized least square classification (Laplacian Regularized Least Squares Classification,LapRLSC (LLS) method based on manifold hypothesis and the classification performance of the two hypothetical SemiBoost and implicitly constrained least squares (Implicitly Constrained Semi-supervised Least Squares,ICLS without any assumptions are used. The following conclusions are obtained: 1) when the data distribution is known, the better classification performance can be guaranteed by using the corresponding data distribution hypothesis; 2) TSVM can achieve high classification accuracy when there is no prior knowledge of data distribution and the number of samples is limited. 3) when it is difficult to obtain sample category markers and emphasize classification security, ICLS, should be selected and LapRLSC is also one of the better options. Secondly, a semi-supervised manifolds regularization classification learning framework based on adaptive graph (AGMR), for short) is proposed to construct and classify graphs at the same time. In this framework, the process of graph construction and classification learning is unified with each other, thus promoting each other. At the same time, the parameters of Manifold structure graph are adjusted with the learning process and do not need to be given in advance. For graph weight constraints, entropy constraint AGMR (AGMR_entropy) and sparse constraint AGMR (AGMR_sparse) methods are developed by using entropy constraint and sparse constraint, respectively. The experimental results show that the new method can effectively improve the learning performance of the traditional manifold regularization framework.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林克明;薛永生;文娟;;一種基于信息論的歸納分類學(xué)習(xí)算法[J];廈門大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年02期

2 王莉莉;張少白;;一種基于聲音分類學(xué)習(xí)的神經(jīng)模型研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年12期

3 潘巍;馬培軍;蘇小紅;;大間隔分類學(xué)習(xí)研究現(xiàn)狀[J];智能計(jì)算機(jī)與應(yīng)用;2013年06期

4 丁衛(wèi)平;王建東;管致錦;施Oz;;基于動態(tài)交叉協(xié)同的屬性量子進(jìn)化約簡與分類學(xué)習(xí)級聯(lián)算法[J];模式識別與人工智能;2011年06期

5 倪艾玲;柯棟梁;;基于預(yù)算約束下的分類學(xué)習(xí)[J];安徽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

6 崔玉文,馮曉寧;基于案例的學(xué)習(xí)方法的研究及其應(yīng)用[J];齊齊哈爾大學(xué)學(xué)報(bào);2002年03期

7 劉麗珍,宋瀚濤,陸玉昌;基于Naive Bayes的CLIF_NB文本分類學(xué)習(xí)方法[J];小型微型計(jì)算機(jī)系統(tǒng);2005年09期

8 王文劍;梁志;郭虎升;;基于數(shù)據(jù)關(guān)系的SVM多分類學(xué)習(xí)算法[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年02期

9 劉柏嵩;賀賽龍;;一種基于Web的分類體系學(xué)習(xí)算法[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年01期

10 顧鑫;王士同;;大樣本多源域與小目標(biāo)域的跨領(lǐng)域快速分類學(xué)習(xí)[J];計(jì)算機(jī)研究與發(fā)展;2014年03期

相關(guān)會議論文 前1條

1 楊波;秦鋒;程澤凱;;一種新的分類學(xué)習(xí)系統(tǒng)評估度量[A];2005年“數(shù)字安徽”博士科技論壇論文集[C];2005年

相關(guān)重要報(bào)紙文章 前2條

1 記者 崔維利 袁松年;四平“分類學(xué)習(xí)法”實(shí)現(xiàn)全覆蓋[N];吉林日報(bào);2013年

2 毛勁　張玲;“分類學(xué)習(xí)+重點(diǎn)練兵”讓隊(duì)伍更專業(yè)[N];檢察日報(bào);2010年

相關(guān)博士學(xué)位論文 前1條

1 王春陽;基于信息熵的自訓(xùn)練半監(jiān)督高光譜遙感影像分類研究[D];河南理工大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 孟巖;基于自適應(yīng)圖的半監(jiān)督流形正則化分類學(xué)習(xí)框架研究[D];南京郵電大學(xué);2017年

2 張帆;基于加權(quán)的多流形排序的圖像檢索研究[D];東北師范大學(xué);2017年

3 朱華;具有平行平均曲率向量的緊致偽臍子流形[D];西南大學(xué);2017年

4 歐慧;基于流形距離和蜂群的聚類算法研究[D];長沙理工大學(xué);2016年

5 田君杰;基于流形的GNSS欺騙干擾識別[D];杭州電子科技大學(xué);2017年

6 王守成;流形改正算法在非保守和耗散限制性三體問題中的應(yīng)用[D];南昌大學(xué);2017年

7 葛亞波;分類學(xué)習(xí)中分散效應(yīng)及其認(rèn)知機(jī)制的研究[D];浙江師范大學(xué);2016年

8 張迪;基于跨領(lǐng)域分類學(xué)習(xí)的產(chǎn)品評論情感分析[D];上海交通大學(xué);2010年

9 奚臣;半監(jiān)督分類方法研究[D];江南大學(xué);2017年

10 陳瑤;2維流形STL曲面網(wǎng)格的重建算法研究[D];湘潭大學(xué);2017年

，

本文編號：2475602