本文關鍵詞： 維數(shù)約簡 稀疏表示 非參核學習 譜回歸　出處：《中國礦業(yè)大學》2017年博士論文　論文類型：學位論文

【摘要】：近年來,隨著信息技術的飛速發(fā)展,互聯(lián)網(wǎng)中的圖像、音視頻、文本以及生物信息數(shù)據(jù)往往呈現(xiàn)高維特征,這種高維度輸入數(shù)據(jù)往往會導致現(xiàn)有機器學習模型性能大幅下降或不適定問題的出現(xiàn),因此,如何從高維數(shù)據(jù)中有效提取特征,以提升高維數(shù)據(jù)環(huán)境下具體學習任務的性能,成為模式識別、機器學習、數(shù)據(jù)挖掘、計算機視覺等領域的研究熱點。面對高維數(shù)據(jù)分類問題中存在的高維數(shù)、非線性、小樣本等挑戰(zhàn),利用機器學習、模式識別和計算機等多學科交叉的理論和方法,以維數(shù)約簡、多核學習、非參核學習、稀疏表示等方法為基礎,針對現(xiàn)階段高維數(shù)據(jù)維數(shù)約簡算法和核學習算法存在的不足,研究基于核學習和稀疏表示的高維數(shù)據(jù)識別方法,并將所提方法成功應用于人臉識別、文本分類等實際問題。所取得的主要研究成果包括:(1)針對現(xiàn)有多核維數(shù)約簡方法學習效率不高的問題,通過在傳統(tǒng)多核維數(shù)約簡模型中引入譜回歸方法并進行式推導,提出了基于譜回歸和跡比率最大化的多核維數(shù)約簡方法,基于設計的多核維數(shù)約簡模型,提出了更加高效的多核維數(shù)約簡算法,有效解決了多核維數(shù)約簡模型中稠密矩陣的廣義特征值分解問題。在高維數(shù)據(jù)集上的實驗結(jié)果表明,該方法兼具譜回歸和多核學習的優(yōu)勢,獲得了比現(xiàn)有多核維數(shù)約簡方法更好的學習性能。(2)針對現(xiàn)有有監(jiān)督多核維數(shù)約簡假設每類數(shù)據(jù)均服從高斯分布的強限制條件,為解決面向高維數(shù)據(jù)的實際應用中該條件不成立問題,提出一種基于譜回歸的邊緣Fisher分析模型,并對基于單核的邊緣Fisher分析模型進行多核拓展,分別提出了基于邊緣Fisher分析的線性、單核和多核維數(shù)約簡算法。訓練算法同時具備譜回歸和MFA的優(yōu)點,能夠充分利用數(shù)據(jù)集的流形結(jié)構(gòu)和類別信息,解決了原始數(shù)據(jù)非高斯分布條件下的高效維數(shù)約簡問題。(3)針對半監(jiān)督非參核學習算法處理高維和稀疏數(shù)據(jù)可能導致的流形假設失效問題,通過把數(shù)據(jù)低維嵌入模型引入半監(jiān)督非參核模型,提出基于低維嵌入的半監(jiān)督非參核學習模型,并證明了該模型可以轉(zhuǎn)換為跡比率優(yōu)化問題,從而克服了傳統(tǒng)非參核學習方法對流形假設的依賴,基于所提出的框架,推導出了一系列半監(jiān)督嵌入式低秩核學習算法。在標準數(shù)據(jù)集上的實驗結(jié)果表明,提出方法的性能明顯優(yōu)于現(xiàn)有同類方法。(4)針對傳統(tǒng)核稀疏表示分類方法在高維數(shù)據(jù)集上分類精度較低且計算復雜度較高的問題,提出基于譜回歸和組合范數(shù)的核稀疏表示分類方法。該方法先采用譜回歸分析得到樣本數(shù)據(jù)的低維表示,再通過核方法將其投影到高維特征空間使其更加具有可分性,通過目標函數(shù)組合范數(shù)約束,有效利用了數(shù)據(jù)集的流形結(jié)構(gòu)和稀疏特性,較好地解決了高維人臉圖像核稀疏表示分類問題。在標準人臉圖像數(shù)據(jù)集上的實驗結(jié)果表明,該方法不僅提高了識別率,而且降低了算法時間,可以有效應用于高維人臉圖像數(shù)據(jù)的分類問題。
[Abstract]:In recent years, with the rapid development of information technology, Internet image, audio and video, text and bioinformatics data tend to show high dimensional feature, the high dimension of the input data will often lead to the existing machine learning model, performance decline or ill posed problem, therefore, how to effectively extract features from high-dimensional data. In order to improve the performance of high dimensional data environment specific learning tasks, as pattern recognition, machine learning, data mining, the research hotspot in the field of computer vision. In the face of high dimension, high dimensional data classification problem in nonlinear, small sample and other challenges, the use of machine learning, pattern recognition and computer theory and method cross discipline, by dimension reduction, multiple kernel learning, nonparametric kernel learning, sparse representation based method for the present high dimensional data dimensionality reduction algorithm and kernel learning algorithm is Foot, high dimensional data recognition method of kernel learning and based on the sparse representation, and the proposed method has been successfully applied to face recognition, text classification and other practical problems. The main research achievements include: (1) according to the existing multi kernel dimensionality reduction methods learning efficiency is not high question, through the spectral regression method is introduced in the traditional multi kernel dimensionality reduction model and formula, proposed multi kernel dimensionality reduction methods and spectral regression trace ratio maximum based on multi kernel dimensionality reduction model based on the design of the proposed multi kernel dimensionality reduction algorithm is more efficient and effective solution to the generalized characteristic of dense matrix dimensionality reduction in multi core model value decomposition. In the high-dimensional data set. The experimental results show that this method combines spectral regression and multiple kernel learning advantage, obtained better learning performance than the existing multi kernel dimensionality reduction methods (2) for the existing. Supervised multi dimensionality reduction hypothesis nuclear data of each class are subject to strong constraints Gauss distribution, in order to solve the problem of the application condition for high dimensional data, this paper proposes a model of edge spectral regression based on Fisher, and the single core edge based on Fisher analysis model of nuclear expansion, were put forward the linear edge based on Fisher analysis, single core and multi-core dimensionality reduction algorithm. The training algorithm has both advantages of spectral regression and MFA, can make full use of manifold structure and class information of the data set, the original data to solve the problem of dimensionality reduction, non Gauss distribution conditions. (3) according to the parametric kernel learning algorithm to deal with high dimensional and sparse data may lead to the failure of non semi supervised manifold assumption, the data model of low dimensional embedding into the semi supervised nonparametric kernel model, we propose a novel semi supervised low dimensional embedding based on Nonparametric Kernel The learning model, it is proved that the model can be converted to trace ratio optimization problem, thus overcoming the traditional nonparametric kernel learning method depends on the assumption, based on the proposed framework, deduced a series of semi supervised learning algorithm. Low rank kernel embedded in the standard data set. The experimental results show that the proposed performance significantly superior to the existing similar methods. (4) the traditional kernel sparse representation classification method in high-dimensional data set classification has low accuracy and high computational complexity of the problem, put forward the nuclear spectrum sparse regression and combination based on the norm of the said classification method. The method used to obtain a low dimensional spectral regression analysis of sample data representation, projected to high dimensional feature space to make it more separability through the kernel method, the objective function of combination of norm constraint, the effective use of the manifold structure and characteristics of sparse data sets, better The kernel sparse representation classification problem of high dimensional face images is solved. Experimental results on the standard face image dataset show that the algorithm not only improves the recognition rate, but also reduces the algorithm time, and it can be applied to the classification of high-dimensional face image data effectively.

【學位授予單位】：中國礦業(yè)大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41;TP181

【相似文獻】

相關期刊論文 前10條

1 侯越先;吳靜怡;張揚;何丕廉;;基于統(tǒng)計判據(jù)的非線性維數(shù)約簡[J];天津大學學報;2007年01期

2 胡奎;侯臣平;吳翊;;基于調(diào)和函數(shù)的張量數(shù)據(jù)維數(shù)約簡[J];計算機工程與應用;2010年22期

3 任世錦;呂俊懷;胡曉婷;張曉光;;基于邊界鑒別分析的遞歸維數(shù)約簡算法[J];控制與決策;2010年07期

4 殷飛;焦李成;;基于面向分類準則的維數(shù)約簡及其在人臉識別中的應用[J];計算機科學;2014年05期

5 黃啟宏;劉釗;;流形學習中非線性維數(shù)約簡方法概述[J];計算機應用研究;2007年11期

6 萬海平;何華燦;;基于譜圖的維度約簡及其應用[J];山東大學學報(理學版);2006年03期

7 鄭誠,歐陽為民,蔡慶生;一種有效的的時間序列維數(shù)約簡方法[J];小型微型計算機系統(tǒng);2002年11期

8 劉麗娜;于治樓;張化祥;;針對不平衡數(shù)據(jù)集的維數(shù)約簡方法[J];信息技術與信息化;2011年05期

9 任世錦;楊茂云;劉小平;徐桂云;;誘導核空間選擇的LPKHDA維數(shù)約簡算法[J];計算機科學與探索;2013年03期

10 程輝;卜華龍;;基于維數(shù)約簡與特征選擇的PGS方法在數(shù)據(jù)處理中的應用[J];電腦知識與技術(學術交流);2007年23期

相關會議論文 前7條

1 陳偉福;馮國燦;;局部光滑主成分分析[A];第十五屆全國圖象圖形學學術會議論文集[C];2010年

2 孫濤;劉靜;劉青山;盧漢清;;半監(jiān)督譜判別式分析[A];第六屆和諧人機環(huán)境聯(lián)合學術會議（HHME2010)、第19屆全國多媒體學術會議（NCMT2010）、第6屆全國人機交互學術會議（CHCI2010）、第5屆全國普適計算學術會議（PCC2010）論文集[C];2010年

3 周煜人;彭輝;桂衛(wèi)華;;基于映射的高維數(shù)據(jù)聚類方法[A];04'中國企業(yè)自動化和信息化建設論壇暨中南六省區(qū)自動化學會學術年會專輯[C];2004年

4 梁俊杰;楊澤新;馮玉才;;大規(guī)模高維數(shù)據(jù)庫索引結(jié)構(gòu)[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2006年

5 陳冠華;馬秀莉;楊冬青;唐世渭;帥猛;;面向高維數(shù)據(jù)的低冗余Top-k異常點發(fā)現(xiàn)方法[A];第26屆中國數(shù)據(jù)庫學術會議論文集（A輯）[C];2009年

6 劉運濤;鮑玉斌;吳丹;冷芳玲;孫煥良;于戈;;CBFrag-Cubing:一種基于壓縮位圖的高維數(shù)據(jù)立方創(chuàng)建算法(英文)[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2005年

7 劉文慧;;PCA與PLS用于高維數(shù)據(jù)分類的比較性研究[A];2011年中國衛(wèi)生統(tǒng)計學年會會議論文集[C];2011年

相關重要報紙文章 前1條

1 本報記者 李雙藝;引領高維數(shù)據(jù)分析先河[N];吉林日報;2013年

相關博士學位論文 前10條

1 劉明明;基于維數(shù)約簡與核學習的高維數(shù)據(jù)分類方法研究[D];中國礦業(yè)大學;2017年

2 侯臣平;基于圖優(yōu)化框架的數(shù)據(jù)維數(shù)約簡方法及應用研究[D];國防科學技術大學;2009年

3 何力;維數(shù)約簡中的若干問題[D];復旦大學;2010年

4 殷飛;基于稀疏學習的圖像維數(shù)約簡和目標識別方法研究[D];西安電子科技大學;2014年

5 朱麟;基于圖的嵌入和維數(shù)約簡方法研究[D];中國科學技術大學;2013年

6 杜世強;基于維數(shù)約簡的無監(jiān)督聚類算法研究[D];蘭州大學;2017年

7 劉勝藍;余弦度量下的高維數(shù)據(jù)降維及分類方法研究[D];大連理工大學;2015年

8 黃曉輝;高維數(shù)據(jù)的若干聚類問題及算法研究[D];哈爾濱工業(yè)大學;2015年

9 楊崇;高維數(shù)據(jù)流上的K近鄰問題研究[D];山東大學;2016年

10 路梅;面向高維數(shù)據(jù)的特征學習理論與應用研究[D];蘇州大學;2016年

相關碩士學位論文 前10條

1 許新忠;基于維數(shù)約簡的流形可視化研究[D];中國民航大學;2014年

2 周斯斯;譜聚類維數(shù)約簡算法研究與應用[D];西安電子科技大學;2010年

3 胡奎;兩種針對張量數(shù)據(jù)和多視圖數(shù)據(jù)的半監(jiān)督維數(shù)約簡方法[D];國防科學技術大學;2010年

4 譚龍;基于近似零范數(shù)和無窮范數(shù)的維數(shù)約簡[D];天津大學;2014年

5 周勇;數(shù)據(jù)維數(shù)約簡及分類算法研究[D];遼寧工業(yè)大學;2016年

6 沈江炎;基于軟子空間的高維數(shù)據(jù)樹形索引研究[D];昆明理工大學;2015年

7 侯小麗;高維數(shù)據(jù)聚類中的神經(jīng)網(wǎng)絡降維方法研究[D];蘭州大學;2015年

8 趙俊琴;基于Lasso的高維數(shù)據(jù)線性回歸模型統(tǒng)計推斷方法比較[D];山西醫(yī)科大學;2015年

9 何熒;高維數(shù)據(jù)下的特征選擇與聚類方法研究[D];西南大學;2015年

10 胡昌杰;基于Autoencoder的高維數(shù)據(jù)降維方法研究[D];蘭州大學;2015年

，

本文編號：1503783