本文關鍵詞： 特征選擇 子空間學習 稀疏建模 降維 機器學習　出處：《電子科技大學》2017年博士論文　論文類型：學位論文

【摘要】：隨著數(shù)據(jù)采集技術的不斷進步,原始數(shù)據(jù)的維度變的越來越高。更高維度的數(shù)據(jù)能獲得更多有用信息的同時也引入很多冗余、增加算法的計算復雜度。為了適應日益增長的數(shù)據(jù)維度和有效處理樣本數(shù)據(jù),減少數(shù)據(jù)的冗余,如何從高維度數(shù)據(jù)中有效的學習到低維度特征是現(xiàn)在數(shù)據(jù)處理及大數(shù)據(jù)中迫切需要解決的問題。隨著數(shù)據(jù)采集方式越來越多樣化,數(shù)據(jù)樣本的數(shù)量越來越多,若對訓練樣本進行人工標記需要消耗大量的時間成本和人力成本。因此,無監(jiān)督的數(shù)據(jù)降維特征學習方法越來越受人們所重視。本文以無監(jiān)督特征學習算法為研究課題,重點研究了基于稀疏和信息論的無監(jiān)督特征學習算法,所包含的兩大塊研究內容如下:第一,本文研究了在基于稀疏建模的無監(jiān)督特征選擇方法的建模及算法設計。首先,特征選擇問題被建模成子空間學習模型,并通過在模型中加入稀疏約束來選擇出更有用的特征。這部分提出了三種基于子空間學習的特征選擇方法:1)為了更有效地選擇出特征且消除負貢獻對問題的影響,提出了一種基于非負子空間學習模型。為了更有效地挖掘數(shù)據(jù)內部信息,本文將自適應稀疏性框架ISD加入到子空間學習的過程中,提出了一種非負自適應稀疏約束的子空間學習模型;2)為了充分應用數(shù)據(jù)內部的信息,本文進一步考慮將數(shù)據(jù)的局部結構加入到子空間學習的過程中,提出了一種全局及局部結構保持的子空間學習模型;3)在無監(jiān)督背景下,為了加入判別信息,本文將樣本聚類信息作為一種判別信息加入到子空間學習的過程中,提出了一種判別子空間學習方法。第二,本文研究了基于信息論學習的魯棒無監(jiān)督特征學習方法。在特征學習中若數(shù)據(jù)存在局外點,基于Frobenius范數(shù)設計的目標函數(shù)會受到局外點的嚴重影響。本文采用信息論學習中最大相關熵準則對目標函數(shù)進行建模,提出了兩種基于最大相關熵準則的魯棒特征學習模型:1)為了提高無監(jiān)督特征選擇模型對于局外點的魯棒性,本文采用最大相關熵準則與局部結構保持子空間學習相結合對無監(jiān)督特征選擇模型進行建模,并提出了基于最大相關熵準則的魯棒無監(jiān)督特征選擇模型;2)為了提高稀疏主成分分析(SPCA)關于局外點的魯棒性,本文采用最大相關熵準則對SPCA進行建模。同時為了更加充分的利用樣本內部的信息,于是在SPCA模型中加入多超圖學習正則項,使模型能夠利用樣本內部的流形信息,并提出一種基于最大相關熵準則和高階流形約束的稀疏主成分分析模型。
[Abstract]:With the development of data acquisition technology, the dimension of raw data becomes higher and higher. The higher dimension data can obtain more useful information, but also introduce a lot of redundancy. Increase the computational complexity of the algorithm. In order to adapt to the growing data dimension and effectively process the sample data, reduce the data redundancy, How to effectively learn low-dimensional features from high-dimensional data is an urgent problem in data processing and big data. With the increasing diversity of data acquisition methods, the number of data samples is increasing. If manual marking of training samples requires a large amount of time and manpower costs, unsupervised dimensionality reduction feature learning methods are paid more and more attention. In this paper, unsupervised feature learning algorithm is taken as a research topic. This paper focuses on the unsupervised feature learning algorithm based on sparse and information theory. The research contents are as follows: first, this paper studies the modeling and algorithm design of unsupervised feature selection method based on sparse modeling. The feature selection problem is modeled as a subspace learning model. In this part, we propose three feature selection methods based on subspace learning:: 1) in order to select the feature more effectively and eliminate the negative contribution to the problem. In this paper, a non-negative subspace learning model is proposed. In order to mine the internal information of the data more effectively, the adaptive sparse framework (ISD) is added to the learning process of the subspace. In this paper, a non-negative adaptive sparse constraint subspace learning model is proposed. In order to fully apply the information inside the data, the local structure of the data is further considered in the process of subspace learning. In this paper, a global and local structure-preserving subspace learning model is proposed. In order to add discriminant information, sample clustering information is added to the process of subspace learning under unsupervised background. A discriminant subspace learning method is proposed. Secondly, a robust unsupervised feature learning method based on information theory learning is studied. The objective function based on Frobenius norm design will be seriously affected by the local point. In this paper, the maximum correlation entropy criterion in information theory learning is used to model the objective function. In order to improve the robustness of the unsupervised feature selection model to the local and outer points, two robust feature learning models based on the maximum correlation entropy criterion are proposed. In this paper, the model of unsupervised feature selection is modeled by using the maximum correlation entropy criterion and local structure preserving subspace learning. In order to improve the robustness of sparse principal component analysis (SPCA), a robust unsupervised feature selection model based on the maximum correlation entropy criterion is proposed. In this paper, the maximum correlation entropy criterion is used to model the SPCA. In order to make full use of the information inside the sample, we add the multi-hypergraph to the SPCA model to learn the regular term, so that the model can make use of the manifold information inside the sample. A sparse principal component analysis model based on maximum correlation entropy criterion and higher order manifold constraints is proposed.
【學位授予單位】：電子科技大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 何一鳴;;無監(jiān)督的互聯(lián)網(wǎng)事件抽取框架[J];計算機工程與設計;2011年03期

2 曹麗;陳才扣;;核無監(jiān)督鑒別投影及人臉識別[J];計算機工程與設計;2009年15期

3 殷柏濤;一種改進的無監(jiān)督競爭學習算法[J];聲學與電子工程;1995年02期

4 郭小衛(wèi);官小平;;一種多尺度無監(jiān)督遙感圖像分割方法[J];遙感信息;2006年06期

5 楊斌;劉衛(wèi)國;;一種基于聚類的無監(jiān)督異常檢測方法[J];計算機工程與應用;2008年01期

6 孫懌;歐智堅;胡煒;;利用無監(jiān)督自適應的興奮解說檢測和體育比賽精彩片斷提取[J];計算機應用與軟件;2008年11期

7 曹蘇群;王駿;王士同;;正交約束的無監(jiān)督統(tǒng)計不相關最佳鑒別平面[J];計算機工程與科學;2010年05期

8 黃璞;陳才扣;;增強的無監(jiān)督人臉鑒別技術[J];計算機工程與應用;2010年18期

9 吳姍;倪志偉;羅賀;鄭盈盈;;一種基于密度的無監(jiān)督聯(lián)系發(fā)現(xiàn)方法[J];中國管理科學;2008年S1期

10 朱琳;王宇杰;;信息瓶頸方法在無監(jiān)督圖像聚類中的研究[J];微計算機信息;2008年24期

相關會議論文 前10條

1 吳姍;倪志偉;羅賀;鄭盈盈;;一種基于密度的無監(jiān)督聯(lián)系發(fā)現(xiàn)方法[A];第十屆中國管理科學學術年會論文集[C];2008年

2 郭瑛媚;史曉東;陳毅東;高燕;;基于詞的話題分布相似度的無監(jiān)督日文旅游意見詞翻譯[A];機器翻譯研究進展——第七屆全國機器翻譯研討會論文集[C];2011年

3 徐嘉明;張衛(wèi)強;劉加;夏善紅;;基于無監(jiān)督遷移分量分析的語種識別[A];第十二屆全國人機語音通訊學術會議（NCMMSC'2013）論文集[C];2013年

4 洪宇;張劍峰;楊躍輝;姚建民;朱巧明;;基于文法特征的無監(jiān)督能愿詞挖掘方法研究[A];第六屆全國信息檢索學術會議論文集[C];2010年

5 楊睿;山本博史;菊井玄一郎;S坂芳典;;針對統(tǒng)計機器翻譯的無監(jiān)督中文文本切分[A];第二屆全國學生計算語言學研討會論文集[C];2004年

6 張愛華;荊繼武;向繼;秦鈺;;基于規(guī)則化詞分布特征的無監(jiān)督特征選取算法[A];全國網(wǎng)絡與信息安全技術研討會論文集（上冊）[C];2007年

7 王章輝;趙宇海;王國仁;李源;;一種基于投影聚類的無監(jiān)督表型區(qū)分算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集(B輯)[C];2010年

8 黃金虎;大衛(wèi);;無監(jiān)督下的詞切分和詞分類的試驗(英文)[A];第一屆學生計算語言學研討會論文集[C];2002年

9 馬韜;陳杰;陳文頡;張博;;光纖陀螺信號降噪的無監(jiān)督自適應濾波方法[A];第二十九屆中國控制會議論文集[C];2010年

10 潘霖;張雪英;吉根林;;一種基于Bootstrapping的中文領域術語獲取算法[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

相關重要報紙文章 前3條

1 記者 雷輝　通訊員 張其明;督促推動立法轉變政府職能[N];南方日報;2013年

2 王石川;蒙塵的象牙塔，，權力無監(jiān)督就會有腐敗[N];法制日報;2013年

3 山東 教師 王傳濤;無人查與不敢查 皆因權力無監(jiān)督[N];法制日報;2013年

相關博士學位論文 前10條

1 周楠;基于稀疏和信息論的無監(jiān)督特征學習算法研究[D];電子科技大學;2017年

2 王寅同;無監(jiān)督與半監(jiān)督降維相關問題研究[D];南京航空航天大學;2016年

3 楊波;圖驅動的無監(jiān)督降維和判別子空間學習研究及其應用[D];南京航空航天大學;2010年

4 魏松;人機對話系統(tǒng)中若干關鍵問題研究[D];北京郵電大學;2007年

5 李靜;高維數(shù)據(jù)交互特征選擇和分類研究[D];燕山大學;2015年

6 劉風;基于磁共振成像的多變量模式分析方法學與應用研究[D];電子科技大學;2014年

7 王石平;粗糙擬陣及其在高維數(shù)據(jù)降維中的應用研究[D];電子科技大學;2014年

8 代琨;基于支持向量機的網(wǎng)絡數(shù)據(jù)特征選擇技術研究[D];解放軍信息工程大學;2013年

9 王愛國;微陣列基因表達數(shù)據(jù)的特征分析方法研究[D];合肥工業(yè)大學;2015年

10 楊峻山;生物組學數(shù)據(jù)的集成特征選擇研究[D];深圳大學;2017年

相關碩士學位論文 前10條

1 王濤;基于領域知識監(jiān)督的商品方面提取[D];華南理工大學;2015年

2 馬陳;基于無監(jiān)督摳圖模型的顯著性區(qū)域提取算法研究[D];合肥工業(yè)大學;2014年

3 師飄;輸電線路上鳥巢的檢測算法研究[D];北京交通大學;2017年

4 高雙印;基于深度學習的藥物活性研究[D];新疆大學;2017年

5 林樂平;基于無監(jiān)督的入侵檢測[D];西安電子科技大學;2005年

6 孫勇亮;開放領域的中文實體無監(jiān)督關系抽取[D];華東師范大學;2014年

7 谷平;基于關聯(lián)修正的無監(jiān)督入侵檢測算法研究[D];天津理工大學;2014年

8 孫全力;一種無監(jiān)督的模式識別方法及其在油氣識別中的應用[D];成都理工大學;2003年

9 叢萬玉;基于無監(jiān)督的無線傳感器網(wǎng)絡入侵檢測技術研究[D];吉林大學;2009年

10 王晶;無監(jiān)督的中文實體關系抽取研究[D];華東師范大學;2012年

本文編號：1499577