本文關(guān)鍵詞：非平行平面支持向量機及特征提取中若干問題研究　出處：《江南大學》2016年博士論文　論文類型：學位論文

  更多相關(guān)文章： 模式分類 孿生支持向量機 投影孿生支持向量機 最小二乘孿生支持向量機 輔助訓(xùn)練樣本

【摘要】：特征提取和分類器設(shè)計是模式識別和機器學習領(lǐng)域的重要研究問題。1995年,Vapnik等人基于結(jié)構(gòu)風險極小化理論提出了支持向量機算法(SVM),它因為具有完備的數(shù)學理論基礎(chǔ)和可以避免維數(shù)災(zāi)難等特點而成為處理小樣本問題的有效工具之一。雖然SVM在解決小樣本和高維模式識別問題中展現(xiàn)出了一定的優(yōu)勢,但當訓(xùn)練集樣本規(guī)模巨大時,就會出現(xiàn)訓(xùn)練速度慢和效率低下等問題,這一定程度上限制了SVM在實際問題中的應(yīng)用。在2006年和2007年,人工智能國際頂級雜志“IEEE Transactions on Pattern Analysis and Machine Intelligence,TPAMI”上相繼發(fā)表了“廣義特征值支持向量機”和“孿生支持向量機”的兩篇文章,這標志著SVM思想開始從平行平面向非平行平面轉(zhuǎn)移,開啟了分類決策新思路。近年來,非平行平面支持向量機算法得到了廣泛和深入的研究,逐漸成為模式識別領(lǐng)域一個新的研究熱點。另一方面,特征提取是模式識別系統(tǒng)至關(guān)重要的步驟之一,如何有效地提取特征依然是研究的熱點問題之一。本文主要從非平行平面支持向量機和特征提取方法兩個方面開展研究,論文的主要工作包含以下幾個方面:(1)提出了新型孿生支持向量機算法。孿生支持向量機算法是基于經(jīng)驗風險的思想提出的,模型的求解轉(zhuǎn)化為兩個規(guī)模較小的二次規(guī)劃問題,當數(shù)據(jù)集規(guī)模逐漸增大時,求解兩個二次規(guī)劃問題也是比較耗時的。為了解決上述問題,我們提出了一類新型的孿生支持向量機算法,該算法將擬合超平面的思想和正則化技術(shù)引入到模型目標函數(shù)的構(gòu)造中,并構(gòu)建了快速求解二次規(guī)劃問題的超松弛迭代算法。(2)提出了新型投影孿生支持向量機算法。首先,投影孿生支持向量機算法是借鑒線性判別分析的思想提出的,該算法通過尋找兩個最優(yōu)投影方向來實現(xiàn)二類分類問題,為了獲取能夠更好地保持數(shù)據(jù)局部幾何特征的投影方向,將局部保持投影思想和正則化技術(shù)引入到投影孿生支持向量機算法中,提出了局部保持投影孿生支持向量機算法。同時,該算法通過經(jīng)驗核映射的方法給出了非線性形式,彌補了原始投影孿生支持向量機算法沒有給出非線性形式的缺陷。其次,為了克服投影孿生支持向量機算法線性模型與非線性模型需要構(gòu)造不同優(yōu)化模型的缺陷,提出了改進的投影孿生支持向量機算法。該算法先構(gòu)造改進的線性投影孿生支持向量機,再利用核技巧直接推廣到非線性形式,繼承了傳統(tǒng)支持向量機的精髓,并解決了投影孿生支持向量機算法在訓(xùn)練之前需要計算兩個逆矩陣的問題。(3)提出了改進的廣義特征值支持向量機算法。廣義特征值支持向量機算法是最早提出的關(guān)于非平行平面決策分類的算法,為了解決該算法在訓(xùn)練過程和決策過程中的不一致性問題,提出了基于特征值分解的中心支持向量機算法。該算法先是針對二類分類問題提出的,模型的求解轉(zhuǎn)化為標準特征值分解問題,降低了算法的計算復(fù)雜度;然后基于“一類對余類”策略推廣到了多類分類問題,拓廣了模型的應(yīng)用范圍。(4)提出了多胞胎最小二乘支持向量機多類分類算法。該算法是對多胞胎支持向量機多類分類算法的一種改進,模型僅僅需要求解線性方程組問題,不僅降低了模型的計算復(fù)雜度,而且提升了算法性能。針對K類分類問題,該算法采取“一類對余類”的思想,對每類訓(xùn)練樣本基于最小二乘孿生支持向量機算法構(gòu)造一個分類超平面,在得到所有的K個超平面后,基于最遠距離決策分類,這與將最小二乘孿生支持向量機算法基于“一類對余類”策略直接推廣到多類分類問題是不同的。(5)提出了基于構(gòu)造類內(nèi)輔助訓(xùn)練樣本的模式分類方法。首先采取線性插值的方法構(gòu)造類內(nèi)輔助訓(xùn)練樣本作為新的訓(xùn)練樣本;然后基于這些新的訓(xùn)練樣本,利用主成分分析或二維主成分分析方法提取特征,并提出了兩種策略將主成分分析方法推廣到了核主成分分析方法。該方法在一定程度上既考慮了訓(xùn)練樣本集的總體散度又考慮了訓(xùn)練樣本集的類內(nèi)散度,可以更好提取帶有鑒別信息的特征,不同數(shù)據(jù)集上的實驗結(jié)果驗證了我們所提方法的有效性。
【學位授予單位】：江南大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP181;TP391.4

【相似文獻】

相關(guān)期刊論文 前10條

1 吳娟;范玉妹;王麗;;關(guān)于改進的支持向量機的研究[J];攀枝花學院學報;2006年05期

2 劉碩明;劉佳;楊海濱;;一種新的多類支持向量機算法[J];計算機應(yīng)用;2008年S2期

3 尹傳環(huán);牟少敏;田盛豐;黃厚寬;;單類支持向量機的研究進展[J];計算機工程與應(yīng)用;2012年12期

4 王云英;閻滿富;;C-支持向量機及其改進[J];唐山師范學院學報;2012年05期

5 李逢煥;;試述不確定支持向量機應(yīng)用分析及改進思路[J];中國證券期貨;2012年12期

6 邵惠鶴;支持向量機理論及其應(yīng)用[J];自動化博覽;2003年S1期

7 曾嶸,蔣新華,劉建成;基于支持向量機的異常值檢測的兩種方法[J];信息技術(shù);2004年05期

8 張凡,賀蘇寧;模糊判決支持向量機在自動語種辨識中的研究[J];計算機工程與應(yīng)用;2004年21期

9 魏玲,張文修;基于支持向量機集成的分類[J];計算機工程;2004年13期

10 沈翠華,鄧乃揚,肖瑞彥;基于支持向量機的個人信用評估[J];計算機工程與應(yīng)用;2004年23期

相關(guān)會議論文 前10條

1 余樂安;姚瀟;;基于中心化支持向量機的信用風險評估模型[A];第六屆（2011）中國管理學年會——商務(wù)智能分會場論文集[C];2011年

2 劉希玉;徐志敏;段會川;;基于支持向量機的創(chuàng)新分類器[A];山東省計算機學會2005年信息技術(shù)與信息化研討會論文集（一）[C];2005年

3 史曉濤;劉建麗;駱玉榮;;一種抗噪音的支持向量機學習方法[A];全國第19屆計算機技術(shù)與應(yīng)用（CACIS）學術(shù)會議論文集（下冊）[C];2008年

4 何琴淑;劉信恩;肖世富;;基于支持向量機的系統(tǒng)辨識方法研究及應(yīng)用[A];中國力學大會——2013論文摘要集[C];2013年

5 劉駿;;基于支持向量機方法的衢州降雪模型[A];第五屆長三角氣象科技論壇論文集[C];2008年

6 王婷;胡秀珍;;基于組合向量的支持向量機方法預(yù)測膜蛋白類型[A];第十一次中國生物物理學術(shù)大會暨第九屆全國會員代表大會摘要集[C];2009年

7 趙晶;高雋;張旭東;謝昭;;支持向量機綜述[A];全國第十五屆計算機科學與技術(shù)應(yīng)用學術(shù)會議論文集[C];2003年

8 周星宇;王思元;;智能數(shù)學與支持向量機[A];2005年中國智能自動化會議論文集[C];2005年

9 顏根廷;馬廣富;朱良寬;宋斌;;一種魯棒支持向量機算法[A];2006中國控制與決策學術(shù)年會論文集[C];2006年

10 侯澍e，

本文編號：1320931