【摘要】：從支持向量機到非平行支持向量機的研究,近幾年引起廣泛關(guān)注。支持向量機主要是尋找一對平行超平面,并且使這兩個平行超平面的間隔盡可能的大。而非平行支持向量機旨在為每類數(shù)據(jù)構(gòu)造一個最優(yōu)的超平面,構(gòu)造的超平面并沒有平行這個限定,并且期望每個超平面能夠靠近本類數(shù)據(jù),而遠離其他類數(shù)據(jù)。非平行支持向量機解決了傳統(tǒng)支持向量機面臨的兩個問題,一個是解不等式二次規(guī)劃需要的高計算復雜度,另一個就是求解異或問題,而且非平行支持向量機對不同類型的數(shù)據(jù)有較好的分類能力。在一些具有噪聲的數(shù)據(jù)中,噪聲會降低決策函數(shù)的泛化能力,容易引起過擬合,影響其分類性能。非平行支持向量機主要考慮從損失函數(shù)和數(shù)據(jù)結(jié)構(gòu)出發(fā),提高其分類性能。因此,本文在非平行支持向量機的基礎(chǔ)上提出了不同模型的非平行支持向量機模型。本文主要分為以下兩個主要研究內(nèi)容:一方面,從支持向量機的角度出發(fā),利用不同的損失函數(shù)構(gòu)造出不同的非平行支持向量機模型。該模型引入了新的軟間隔損失函數(shù),可以適用于不同類型的數(shù)據(jù);這個新的非平行支持向量機可以退化為標準的支持向量機模型,這樣該模型的計算方法和支持向量機的計算方法是一樣的;把具有稀疏性的損失函數(shù)加入到非平行支持向量機中,既保持了稀疏特性,有可以適應不同類型的交叉數(shù)據(jù)。通過大量的公共數(shù)據(jù)集實驗驗證了其有效性。另一方面,兩個優(yōu)秀的非平行支持向量機模型:廣義特征值近端支持向量機(Proximal Support Vector Machinevia Generalized Eigenvalues,GEPSVM)及其改進的廣義特征值近端支持向量機(Improved Generalized Eigenvalue Proximal Support Vector Machine,IGEPSVM),它們具有良好的推廣性能,但是,在實際應用中它們也有一些缺陷。首先,GEPSVM和IGEPSVM中得經(jīng)驗風險是用L_(2-)范數(shù)計算的,L_2-范數(shù)中使用的是平方距離,對噪聲和異常值具有敏感性,降低了其分類性能。其實上述兩種非平行支持向量機并沒有考慮數(shù)據(jù)的相關(guān)結(jié)構(gòu),當數(shù)據(jù)高度相關(guān)時,其分類能力降低。為了緩解上述問題,本文提出了一種用于噪聲分類的跡模正則化魯棒近端支持向量機(Robust Nonparallel Proximal Support Vector Machine,RNPSVM),在IGEPSVM的基礎(chǔ)上,把L_2-范數(shù)改為L_1-范數(shù),L_1-范數(shù)是用絕對值之和來衡量的,降低了對噪聲的敏感性,旨在最大化L_1-范數(shù)的類間距離的同時,最小化L_(1-)范數(shù)的類內(nèi)距離,使其對異常值具有魯棒性;通過考慮數(shù)據(jù)的相關(guān)性,引入了跡模(基于訓練數(shù)據(jù)的自適應模)懲罰項,這個跡模懲罰項不僅具有稀疏性,在數(shù)據(jù)相關(guān)度較高時其分類性能也是很好。在GEPSVMs中可能遇到奇異值問題,通過修改模型可以避免出現(xiàn)奇異值問題;最后提出了一種有效的迭代算法,并且驗證了其收斂性。在合成和現(xiàn)實噪聲數(shù)據(jù)集上的廣泛實驗結(jié)果驗證了RNPSVM的有效性。
【學位授予單位】：浙江工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP181
【圖文】：

圖 2-1 最大間隔幾何示意圖Figure 2-1 Maximum spacing geometry向量，通過適當?shù)姆ㄏ蛄繒蟪鲞@樣兩條支持但是也有一些線性不可分數(shù)據(jù)集，這樣針對上線，那么就引入松弛變量:0, 1,...,i i m為：2, ,1ii1min || w ||2. . y ((w ) ) 1 , 1,...,0, 1,...,miw bii iCs t x b i mi m 罰參數(shù)，加入松弛變量的優(yōu)化問題就意味著允多數(shù)的樣本點被正確分類，既要求兩支持直線間

18(a) (b)圖3-1 （a）本章提出的軟間隔 -不敏感損失函數(shù)和軟間隔損失函數(shù)（b）軟間隔損失和最小二乘損失函數(shù)Figure 3-1 (a) Soft interval - insensitive loss function and soft interval loss functionproposed in this chapter(b) Soft interval loss and least squares loss function從圖3-1中可以明顯看出，最小二乘損失函數(shù)不具有稀疏得特性，而支持向量機中的軟間隔損失函數(shù)和本章提出的軟間隔 -不敏感損失函數(shù)具有稀疏的特性，所以最小化模型（3-18）和（3-19）就具有稀疏的特性。與此同時，我們還可以得到如下定理：定理 3.2 當 0，且1 2C C時，最小化問題（3-18）和（3-19）就等價于支持向量機的原始優(yōu)化問題（2-7）。證明：當 0時，最小化問題（3-18）中不等式*1 1 1 1(w ) 1i x b 是無用處，所以最優(yōu)化問題可以改寫為：1 1 111 221 1 2 1w , , ,1 1 1 1 11 1 1 1 21min || w ||2. . 1 (w ) , 0,1 (w ) , 0,i ii ibx T x Ti i i ii i i iC Cs t x b x Tx b x T （3-20）同樣最優(yōu)化問題（3-19）中不等式*2 2 2 2(w ) 1i i x b 也是無用處的

【相似文獻】

相關(guān)期刊論文 前10條

1 馬旭霞;;支持向量機理論及應用[J];科學技術(shù)創(chuàng)新;2019年02期

2 江少杰;寧紀鋒;李云松;;加權(quán)間隔結(jié)構(gòu)化支持向量機目標跟蹤算法[J];中國圖象圖形學報;2017年09期

3 李娜;孫樂;胡一楠;李笑;王亞南;;模糊型支持向量機及其在入侵檢測中的應用[J];科技創(chuàng)新與應用;2018年11期

4 邵元海;楊凱麗;劉明增;王震;李春娜;陳偉杰;;從支持向量機到非平行支持向量機[J];運籌學學報;2018年02期

5 高欽姣;張勝剛;賈曉薇;;基于支持向量機的股票價格預測模型研究與應用[J];課程教育研究;2016年28期

6 林香亮;袁瑞;孫玉秋;王超;陳長勝;;支持向量機的基本理論和研究進展[J];長江大學學報(自科版);2018年17期

7 安悅tD;丁世飛;胡繼普;;孿生支持向量機綜述[J];計算機科學;2018年11期

8 梁武;蘇燕;;一種新的基于類內(nèi)不平衡數(shù)據(jù)學習支持向量機算法[J];科技通報;2017年09期

9 吳青;梁勃;;分段熵光滑支持向量機性能研究[J];計算機工程與設(shè)計;2015年08期

10 牛r

本文編號：2738383