本文關(guān)鍵詞： 統(tǒng)計(jì)學(xué)習(xí)理論 支持向量機(jī) 模糊隸屬度函數(shù) 類內(nèi)結(jié)構(gòu) 類內(nèi)離散度 孤立點(diǎn)檢測(cè) 不平衡數(shù)據(jù)學(xué)習(xí)　出處：《北京交通大學(xué)》2015年博士論文　論文類型：學(xué)位論文

【摘要】：支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法。它根據(jù)有限的數(shù)據(jù)信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷,以獲得最好的泛化能力。支持向量機(jī)具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ),能夠較好地解決有限樣本、非線性、過學(xué)習(xí)、高維數(shù)和局部極小點(diǎn)等學(xué)習(xí)問題。由于其優(yōu)越的性能,已被廣泛應(yīng)用于許多領(lǐng)域中,并已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。 本文對(duì)支持向量機(jī)理論進(jìn)行了深入地研究,指出其在尋找最優(yōu)分類超平面的過程中忽略了一種重要的先驗(yàn)知識(shí),即樣本的類內(nèi)結(jié)構(gòu)。為此,本文研究了類內(nèi)結(jié)構(gòu)支持向量機(jī)算法,即基于樣本的類內(nèi)離散度提出的改進(jìn)支持向量機(jī)算法,隨后分別對(duì)目前存在的噪聲問題、孤立點(diǎn)檢測(cè)問題、不平衡數(shù)據(jù)學(xué)習(xí)問題做了進(jìn)一步的研究。主要工作如下： (1)指出現(xiàn)有的支持向量機(jī)算法模型中存在的問題,即忽略了樣本的類內(nèi)結(jié)構(gòu)。分析了支持向量機(jī)與Fisher判別分析算法的相似點(diǎn)與不同點(diǎn),提出基于類內(nèi)離散度的支持向量機(jī)(WCS-SVM)算法。該算法的基本思想就是尋找一個(gè)最優(yōu)分類超平面,不僅將兩類樣本盡量正確分開,在保持較高分類精度的同時(shí)最大化分類間隔,而且使得樣本的類內(nèi)離散度盡可能的小。數(shù)值實(shí)驗(yàn)證明了此算法具有良好的分類性能。最后,將無(wú)監(jiān)督聚類技術(shù)同WCS-SVM算法結(jié)合起來用于網(wǎng)絡(luò)入侵檢測(cè)中,進(jìn)一步驗(yàn)證了算法的有效性。 (2)在模糊支持向量機(jī)中,為了更好地刻畫訓(xùn)練樣本對(duì)分類超平面的貢獻(xiàn),提出一種新的基于樣本緊密度的模糊隸屬度函數(shù)設(shè)計(jì)方法。該隸屬度函數(shù)不僅考慮了樣本與所在類中心之間距離,同時(shí)還考慮了類內(nèi)樣本之間的緊密度。重點(diǎn)在于我們引入兩個(gè)參數(shù)來分別控制正負(fù)兩類樣本的緊密度,這兩個(gè)參數(shù)需要預(yù)先設(shè)定。文中,我們通過支持向量數(shù)據(jù)描述算法來確定這兩個(gè)參數(shù)。數(shù)值實(shí)驗(yàn)證明了該隸屬函數(shù)可以更好地降低噪聲或野值點(diǎn)對(duì)分類結(jié)果的影響。為了更好地處理被噪聲污染的數(shù)據(jù)集分類問題,對(duì)于每個(gè)訓(xùn)練樣本賦予不同的模糊隸屬度的同時(shí),考慮了樣本的類內(nèi)結(jié)構(gòu),提出新的基于樣本類內(nèi)結(jié)構(gòu)的模糊支持向量機(jī)(WCS-FSVM)算法。文中詳細(xì)地給出了算法的推導(dǎo)過程的同時(shí),嚴(yán)格證明了該算法的收斂性。數(shù)值實(shí)驗(yàn)驗(yàn)證了該改進(jìn)算法的有效性,降低了噪聲的影響,提高了分類精度。 (3)孤立點(diǎn)檢測(cè)是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一。它的任務(wù)就是從已有觀測(cè)數(shù)據(jù)中建立正常行為數(shù)據(jù)的模型進(jìn)行異常行為的檢測(cè)。我們充分利用樣本信息,對(duì)一類支持向量機(jī)算法進(jìn)行了改進(jìn),并將其應(yīng)用于孤立點(diǎn)檢測(cè)中。實(shí)驗(yàn)中,我們采用總正確檢測(cè)率與Kappa系數(shù)k作為性能評(píng)價(jià)標(biāo)準(zhǔn),與其它一類標(biāo)準(zhǔn)算法GDD、 NNDD、 PCA、 OC-SVM進(jìn)行比較。結(jié)果證明該改進(jìn)算法是有效的,優(yōu)于其他比較算法,在一定程度上提高了檢測(cè)率。 (4)不平衡數(shù)據(jù)廣泛存在于實(shí)際應(yīng)用中,不平衡數(shù)據(jù)學(xué)習(xí)也是目前機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中的研究熱點(diǎn)之一。對(duì)于支持向量機(jī)來說,正負(fù)訓(xùn)練樣本不平衡會(huì)引起分類超平面向少數(shù)類偏移。為了有效抑制分類超平面的偏移,本文提出了基于類內(nèi)結(jié)構(gòu)的不同誤分代價(jià)支持向量機(jī)算法。該算法不僅對(duì)少數(shù)類和多數(shù)類分別采用不同的誤分代價(jià)(對(duì)少數(shù)類賦予更大的懲罰因子),而且同樣考慮了樣本的類內(nèi)結(jié)構(gòu),較好地減少了樣本數(shù)目不平衡對(duì)分類性能所產(chǎn)生的影響。實(shí)驗(yàn)中,我們采用G-means作為性能評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果證明了該算法的有效性,既可以提高少數(shù)類樣本點(diǎn)的分類準(zhǔn)確率,也可以提高正負(fù)類樣本點(diǎn)分類準(zhǔn)確率的幾何平均值。
[Abstract]:......
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董春曦,楊紹全,饒鮮,湯建龍;支持向量機(jī)推廣能力估計(jì)方法比較[J];電路與系統(tǒng)學(xué)報(bào);2004年04期

2 張莉,周偉達(dá),焦李成;尺度核函數(shù)支撐矢量機(jī)[J];電子學(xué)報(bào);2002年04期

3 張春城,周正歐;基于支持向量機(jī)的淺地層探地雷達(dá)目標(biāo)分類識(shí)別研究[J];電子學(xué)報(bào);2005年06期

4 吳洪興;彭宇;彭喜元;;適用于不平衡樣本數(shù)據(jù)處理的支持向量機(jī)方法[J];電子學(xué)報(bào);2006年S1期

5 關(guān)健,劉大昕;基于主成分分析的無(wú)監(jiān)督異常檢測(cè)[J];計(jì)算機(jī)研究與發(fā)展;2004年09期

6 業(yè)寧;孫瑞祥;董逸生;;多拉格朗日乘子協(xié)同優(yōu)化的SVM快速學(xué)習(xí)算法研究[J];計(jì)算機(jī)研究與發(fā)展;2006年03期

7 李燁;蔡云澤;尹汝潑;許曉鳴;;基于證據(jù)理論的多類分類支持向量機(jī)集成[J];計(jì)算機(jī)研究與發(fā)展;2008年04期

8 ;WAVELET KERNEL SUPPORT VECTOR MACHINES FOR SPARSE APPROXIMATION[J];Journal of Electronics;2006年04期

9 李苗苗;向鳳紅;劉新旺;;一種新穎隸屬度函數(shù)的模糊支持向量機(jī)[J];計(jì)算機(jī)工程與科學(xué);2009年09期

10 李紅蓮,王春花,袁保宗,朱占輝;針對(duì)大規(guī)模訓(xùn)練集的支持向量機(jī)的學(xué)習(xí)策略[J];計(jì)算機(jī)學(xué)報(bào);2004年05期

，

本文編號(hào)：1481628