本文關(guān)鍵詞： 低秩表示 稀疏表示 子空間聚類 特征抽取 線性回歸 模型學(xué)習(xí)　出處：《哈爾濱工業(yè)大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：稀疏約束和低秩約束是近年來(lái)出現(xiàn)的熱點(diǎn)研究方向,目前已經(jīng)被廣泛地應(yīng)用在機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域,如人臉識(shí)別、視頻分析、圖像分割等。從目前的研究中可以看出:1)稀疏和低秩約束能夠有效地提高模型的魯棒性。2)稀疏和低秩約束可以有效地提高子空間學(xué)習(xí)效率,例如提高維度約減的效率、抽取高效的特征以及提高子空間聚類的準(zhǔn)確率。針對(duì)這兩個(gè)方面的研究,學(xué)者們提出了一些新穎的基于稀疏或者低秩約束的模型,并且在一些實(shí)際應(yīng)用中取得了令人滿意的結(jié)果。同時(shí),作為稀疏約束和低秩約束問(wèn)題的推廣,一些同時(shí)采用低秩和稀疏約束的新模型也引起了學(xué)者們的注意。本論文以提高模型的魯棒性以及學(xué)習(xí)效率為研究目標(biāo),提出了一些新的基于稀疏和低秩約束的模型并成功應(yīng)用于有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。具體地說(shuō),本論文的主要工作概況如下。(1)提出一個(gè)基于低秩和稀疏嵌入的子空間學(xué)習(xí)框架以提高子空間的學(xué)習(xí)效率以及模型的魯棒性。該框架將目前的子空間學(xué)習(xí)方法統(tǒng)一到低秩和稀疏的嵌入框架中。首先,將一些傳統(tǒng)的子空間學(xué)習(xí)方法重寫(xiě)為一個(gè)統(tǒng)一的線性模型,然后將該模型并入到低秩和稀疏嵌入的子空間學(xué)習(xí)框架中,進(jìn)而形成一系列新的子空間學(xué)習(xí)方法。該框架利用低秩和稀疏表示來(lái)并入數(shù)據(jù)的全局和局部結(jié)構(gòu)到子空間學(xué)習(xí)中以提高子空間的學(xué)習(xí)效率。同時(shí)使用一個(gè)稀疏矩陣擬合噪聲來(lái)提高模型對(duì)于不同的噪聲數(shù)據(jù)的魯棒性。實(shí)驗(yàn)證明,由該框架導(dǎo)出的新算法無(wú)論在有監(jiān)督還是無(wú)監(jiān)督的情形下都能夠有效地提高分類準(zhǔn)確率。(2)提出一個(gè)基于非負(fù)稀疏約束的圖學(xué)習(xí)模型,利用非負(fù)稀疏約束來(lái)提高圖的學(xué)習(xí)效率以及半監(jiān)督聚類的準(zhǔn)確率。具體地說(shuō),本文首先分析了傳統(tǒng)半監(jiān)督聚類方法的缺陷,即預(yù)先定義的圖不能準(zhǔn)確地傳遞標(biāo)簽信息。為處理這個(gè)問(wèn)題,本文首先提出了一個(gè)新的非負(fù)稀疏圖學(xué)習(xí)模型,該模型將非負(fù)稀疏約束引入圖學(xué)習(xí)中并將圖學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法并入到一個(gè)學(xué)習(xí)框架中,使得該框架能夠?qū)W習(xí)到一個(gè)最優(yōu)的圖結(jié)構(gòu),進(jìn)而保證標(biāo)簽信息的準(zhǔn)確傳遞。為了使得該框架具有處理新數(shù)據(jù)的能力,我們?cè)谠摽蚣苤幸胍粋�(gè)線性回歸模型,使得該框架不僅可以有效地提高半監(jiān)督學(xué)習(xí)能力,而且可以有效地分類新的數(shù)據(jù),即有效地解決了“out of sample”問(wèn)題。(3)提出一個(gè)正則化的標(biāo)簽松弛線性回歸模型和一個(gè)基于稀疏約束的魯棒性正則化的標(biāo)簽松弛線性回歸模型為解決傳統(tǒng)的線性回歸方法將所有的樣本投影到一個(gè)二值化的標(biāo)簽矩陣,忽略了樣本之間的差別的問(wèn)題。模型不僅可以擴(kuò)大不同類樣本之間的距離,而且可以有效地解決模型的過(guò)擬合問(wèn)題。為了增強(qiáng)模型的魯棒性,本文引入一個(gè)新穎的稀疏約束,即?2,1范數(shù)到模型中進(jìn)而提出魯棒性正則化的標(biāo)簽松弛回歸模型。由于使用了基于?2,1范數(shù)的損失函數(shù),該模型可以有效地處理噪聲數(shù)據(jù)。針對(duì)這兩個(gè)模型,提出了兩個(gè)對(duì)應(yīng)的優(yōu)化算法,使得分類更有效,運(yùn)算更快捷。(4)提出一個(gè)基于稀疏約束的特征抽取模型為抽取高效的特征。模型通過(guò)一個(gè)簡(jiǎn)單的k近鄰圖來(lái)反映樣本的局部結(jié)構(gòu),進(jìn)而引導(dǎo)重構(gòu)系數(shù)之間的相似性,并且引入一個(gè)基于行一致性稀疏的?2,1范數(shù)的投影矩陣來(lái)選擇最相關(guān)的特征以保持?jǐn)?shù)據(jù)的局部性和重構(gòu)系數(shù)之間的相似性。通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證,該方法在沒(méi)有標(biāo)簽信息的情況下可以選擇鑒別性的特征并且選擇的特征具有較好的穩(wěn)定性。(5)為提高半監(jiān)督子空間聚類的效率,提出了一個(gè)基于非負(fù)低秩表示的魯棒性半監(jiān)督子空間聚類模型。該模型通過(guò)1)利用類標(biāo)簽信息來(lái)指導(dǎo)仿射圖的構(gòu)建;2)將非負(fù)低秩表示框架和半監(jiān)督子空間聚類函數(shù)并入到一個(gè)統(tǒng)一的框架下,使得學(xué)習(xí)到的仿射圖可以準(zhǔn)確地將數(shù)據(jù)劃分到各自的子空間。為提高模型的魯棒性,使用一個(gè)稀疏的矩陣來(lái)擬合噪聲,使得模型對(duì)于不同的噪聲具有較強(qiáng)的魯棒性且可以準(zhǔn)確地恢復(fù)被噪聲污染或遮擋的圖像。綜上,為了提高模型的魯棒性以及學(xué)習(xí)效率,本文提出五個(gè)基于稀疏和低秩約束的模型并成功應(yīng)用在維度約減、特征抽取、分類和聚類上。大量公開(kāi)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果顯示引入稀疏和低秩表示可以有效地提高模型的魯棒性和學(xué)習(xí)效率。
[Abstract]:Sparse constraint and low rank constraint is a hot research direction in recent years. It has been widely used in the field of machine learning and pattern recognition, such as face recognition, video analysis, image segmentation and so on. From the present study shows that: 1) sparse and low rank constraint can improve the robustness of the.2 model) sparse and low rank subspace constraints can effectively improve the learning efficiency, such as to improve the efficiency of dimension reduction, feature extraction efficiency and improve the accuracy of subspace clustering. According to the two aspects of the research, scholars put forward some sparse or low rank constraint model based on the novel, and made satisfactory results in some practical applications. At the same time, as a generalization of sparse constraint and low rank constraint problems, some with low rank and sparse constraints a new model has attracted attention of scholars. This thesis In order to improve the robustness of the model and the learning efficiency as the research target, and puts forward some new based on sparse and low rank constraint model is successfully applied to supervised learning, semi supervised learning and unsupervised learning. Specifically, the main work of this dissertation is outlined as follows. (1) proposed a low rank and sparse embedded subspace learning based framework to improve subspace learning efficiency and robustness of the model. The framework of the current subspace learning method to uniform embedding framework and sparse low rank. First of all, some of the traditional subspace learning method is rewritten as a unified linear model, then the model is incorporated into the to the low rank and sparse embedding subspace learning framework, and then formed a series of new subspace learning method. It uses low rank and sparse representation to incorporate the data of the global and local structure subspace learning In order to improve the learning efficiency. At the same time subspace using a sparse matrix fitting model to improve the noise robustness to different noise data. Experiments show that the new algorithm is derived by the framework in supervised or unsupervised situations can effectively improve the classification accuracy. (2) proposed a the learning model of non negative sparse constraint graphs based on the accuracy of non negative sparse constraints to improve the learning efficiency of graph and semi supervised clustering. Specifically, this paper first analyzes the defects of the traditional semi supervised clustering method, namely a predefined map can not accurately transfer label information. To deal with this problem in this paper. We propose a new non negative sparse graph learning model, the model will be non negative constraint graph learning and graph learning and semi supervised learning method into a learning framework, this framework can make Enough to learn an optimal structure, and ensure accurate transfer of label information. In order to make the framework has the ability to deal with the new data, we introduce a linear regression model in this framework, the framework can not only effectively improve semi supervised learning ability, and can effectively classify new data, i.e. to effectively solve the "out of sample". (3) proposed a regularized label relaxation linear regression model and a linear relaxation based on label robustness regularized sparse constraint regression model to solve the traditional linear regression method to sample all the projection to a value of two of the label matrix. Ignoring the difference between the sample problem. The model can not only expand the distance between samples of different classes, and can effectively solve the problem of over fitting model. In order to enhance the robustness of the model in this paper. The introduction of a novel sparse constraint, namely? 2,1 norm to the model and then put forward the label relaxation robustness regularized regression model. Based on the loss function due to the use of the? 2,1 norm, the model can effectively deal with noisy data. According to the two models, two corresponding optimization algorithm is proposed, which makes the classification more effective and more efficient operation. (4) proposed a feature extraction model based on sparse constraint for feature extraction and efficient model. Through a simple k neighbor graph to reflect the local structure of the data, and then guide the similarity coefficient between the reconstruction, and the introduction of a consistency based on sparse projection? The 2,1 matrix norm to select the most relevant features to keep the similarity between the data locality and reconstruction coefficient. Through theoretical analysis and experimental verification, this method can choose the identification in case of no label information The characteristics and the selection of the characteristics of a good stability. (5) in order to improve the efficiency of semi supervised subspace clustering, proposed a representation of non negative low rank based robust semi supervised subspace clustering model. This model through 1) constructed using class label information to guide the affine graph; 2) will non negative low rank representation framework and semi supervised subspace clustering function is incorporated into a unified framework, the affine map learning that can accurately divide data into each subspace. In order to improve the robustness of the model, a sparse matrix is used to fit the noise, and the model has strong robustness and can accurately recover the polluted by noise or occlusion of image for different noise. To sum up, in order to improve the model's robustness and learning efficiency, this paper proposes five based on sparse and low rank constraint model is successfully applied in the dimension of about Reduction, feature extraction, classification and clustering. Experimental results on a large number of open databases show that introducing sparse and low rank representation can effectively improve the robustness and learning efficiency of the model.

【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盛守照,王道波,黃向華;有限樣本下模型選擇理論與方法研究[J];系統(tǒng)工程與電子技術(shù);2005年04期

2 黃東遠(yuǎn);陳曉云;;一種新的支持向量回歸機(jī)的模型選擇方法[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

3 盛守照,王道波;基于預(yù)測(cè)風(fēng)險(xiǎn)最小化的模型選擇理論與方法研究[J];系統(tǒng)工程;2004年04期

4 黃光遠(yuǎn),朱月秋;森林火災(zāi)的模型及其撲滅問(wèn)題[J];系統(tǒng)工程理論與實(shí)踐;1988年02期

5 舒曉娟;陳洋波;任啟偉;;模型選擇準(zhǔn)則在洪水頻率分析中的應(yīng)用[J];水利學(xué)報(bào);2010年01期

6 陳建東;王小明;;LS-SVM模型選擇的秩準(zhǔn)則及其比較[J];計(jì)算機(jī)工程;2011年18期

7 J.G.Fossum ,徐玉輝;SOI MOSFET電路模擬的模型選擇[J];微電子學(xué);1989年02期

8 黃梯云,吳菲,盧濤;模型自動(dòng)選擇方法研究的進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2001年04期

9 李海濤;李福忠;;基于信息流角度的企業(yè)結(jié)構(gòu)式和簡(jiǎn)式模型選擇[J];情報(bào)雜志;2007年03期

10 吳婭輝;劉剛;郭軍;;基于模型混淆度的模型組合算法研究[J];自動(dòng)化學(xué)報(bào);2009年05期

相關(guān)會(huì)議論文 前9條

1 張維;;模型選擇:現(xiàn)狀與發(fā)展[A];全國(guó)青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第1卷）[C];1991年

2 金偉;周浩;于永利;;維修管理IDSS的設(shè)計(jì)方法[A];設(shè)備維修與改造技術(shù)論文集[C];2000年

3 曾菊英;許冰;;制度變遷及其模型選擇[A];21世紀(jì)數(shù)量經(jīng)濟(jì)學(xué)（第10卷）[C];2009年

4 廖冬初;秦壽康;;縣級(jí)規(guī)劃總體優(yōu)化模型及其計(jì)算方法[A];發(fā)展戰(zhàn)略與系統(tǒng)工程——第五屆系統(tǒng)工程學(xué)會(huì)年會(huì)論文集[C];1986年

5 張維;;關(guān)于模型選擇中的若干理論問(wèn)題[A];科學(xué)決策與系統(tǒng)工程——中國(guó)系統(tǒng)工程學(xué)會(huì)第六次年會(huì)論文集[C];1990年

6 戰(zhàn)明華;李生校;;貨幣與產(chǎn)出的關(guān)系(1995～2003):不同模型的分析結(jié)果及其比較[A];中國(guó)金融學(xué)會(huì)第八屆優(yōu)秀論文評(píng)選獲獎(jiǎng)?wù)撐募痆C];2005年

7 王樹(shù)盛;;Probit模型及其在交通方式分擔(dān)中的應(yīng)用研究[A];可持續(xù)發(fā)展的中國(guó)交通——2005全國(guó)博士生學(xué)術(shù)論壇（交通運(yùn)輸工程學(xué)科）論文集（下冊(cè)）[C];2005年

8 戴鋒;梁玲;李興兵;馮俊濤;;經(jīng)濟(jì)增長(zhǎng)的動(dòng)態(tài)進(jìn)程模型及實(shí)證研究[A];第十四屆中國(guó)管理科學(xué)學(xué)術(shù)年會(huì)論文集(上冊(cè))[C];2012年

9 韓珂;尹勤;;大學(xué)生手機(jī)話費(fèi)模型的建立和分析[A];江蘇省現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前3條

1 建南;幫你建立有效客戶關(guān)系[N];中國(guó)商報(bào);2001年

2 首創(chuàng)期貨研發(fā)中心金融工程組 徐澤平;方差-協(xié)方差法的VaR計(jì)量模型選擇[N];期貨日?qǐng)?bào);2007年

3 證券時(shí)報(bào)記者 楊波　金燁 程俊琳;量化投資走在中國(guó) 六年學(xué)步漸入佳境[N];證券時(shí)報(bào);2010年

相關(guān)博士學(xué)位論文 前9條

1 夏小超;統(tǒng)計(jì)檢驗(yàn)與模型選擇相關(guān)問(wèn)題研究[D];重慶大學(xué);2015年

2 朱素玲;模型選擇與模型平均研究[D];蘭州大學(xué);2014年

3 房小兆;基于稀疏和低秩約束的模型學(xué)習(xí)研究[D];哈爾濱工業(yè)大學(xué);2016年

4 呂子昂;模型選擇的曲率方法研究[D];北京交通大學(xué);2012年

5 常群;支持向量機(jī)的核方法及其模型選擇[D];哈爾濱工業(yè)大學(xué);2007年

6 賀利堅(jiān);多Agent系統(tǒng)中信任和信譽(yù)模型的研究[D];北京交通大學(xué);2011年

7 張立明;結(jié)合可滿足的基于模型等價(jià)性驗(yàn)證及不一致診斷問(wèn)題研究[D];吉林大學(xué);2012年

8 毛文濤;支持向量回歸機(jī)模型選擇研究及在綜合力學(xué)環(huán)境預(yù)示中的應(yīng)用[D];西安交通大學(xué);2011年

9 劉靖旭;支持向量回歸的模型選擇及應(yīng)用研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 張亞楠;基于宏微觀模型推斷鋼構(gòu)件強(qiáng)度的無(wú)損檢測(cè)技術(shù)研究[D];中國(guó)礦業(yè)大學(xué);2015年

2 單昕彤;認(rèn)知診斷中模型—資料的測(cè)驗(yàn)擬合檢驗(yàn)統(tǒng)計(jì)量研究[D];江西師范大學(xué);2015年

3 井海銀;超高維可加模型下的特征篩選[D];重慶大學(xué);2015年

4 江婷婷;基于修正負(fù)二項(xiàng)分布的索賠次數(shù)模型研究[D];重慶大學(xué);2015年

5 孫志濱;LDA模型的研究及其在推薦系統(tǒng)中的應(yīng)用[D];浙江大學(xué);2016年

6 仝景景;“碎片化數(shù)據(jù)”的模型平均方法[D];華東師范大學(xué);2016年

7 肖馨梅;融合Lasso罰模型的理論與應(yīng)用研究[D];燕山大學(xué);2016年

8 尹瀟瀟;Meta分析中的模型選擇與模型平均[D];云南財(cái)經(jīng)大學(xué);2016年

9 陳笑弟;交互效應(yīng)下的模型選擇[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

10 張釗;基于無(wú)偏估計(jì)方程的模型選擇[D];山東經(jīng)濟(jì)學(xué)院;2011年

，

本文編號(hào)：1450630