本文選題：支持向量機 + 核函數(shù)�。� 參考：《杭州電子科技大學(xué)》2017年碩士論文

【摘要】：支持向量機是以統(tǒng)計學(xué)習(xí)理論作為其基礎(chǔ)并且以結(jié)構(gòu)風(fēng)險最小化作為其遵循的準(zhǔn)則,它通過結(jié)構(gòu)風(fēng)險最小化來同時控制學(xué)習(xí)機器的復(fù)雜度以及學(xué)習(xí)機器的學(xué)習(xí)能力。支持向量機在解決高維非線性的小樣本的機器學(xué)習(xí)的問題具有非常大的優(yōu)勢,它沒有傳統(tǒng)機器學(xué)習(xí)方法存在的很多的問題,比如局部極值、過擬合等。支持向量機從提出到現(xiàn)在得到了廣泛的應(yīng)用與發(fā)展,但是,它依然存在一些問題,對于如何優(yōu)化選擇核函數(shù)以及優(yōu)化選擇相關(guān)的參數(shù)、如何利用多尺度核學(xué)習(xí)方法等,還沒有完善統(tǒng)一的模式去遵循。因此,從SVM核函數(shù)的優(yōu)化選擇、SVM的參數(shù)優(yōu)化選擇、多尺度核學(xué)習(xí)等方面進(jìn)行研究是非常必要而且有意義的。所以,本文從以上三個方面進(jìn)行詳細(xì)深入的研究,在核函數(shù)度量方法的基礎(chǔ)上做出了一些改進(jìn),在不增加原有算法復(fù)雜度的情況下,選擇出性能最好的核函數(shù),來提高SVM算法的泛化性能和推廣能力。本文做了以下四個方面的工作:(1)研究了機器學(xué)習(xí)理論、統(tǒng)計學(xué)習(xí)理論、支持向量機理論等,詳細(xì)敘述了由最優(yōu)超平面的最小間分隔得到SVM的算法的數(shù)學(xué)模型。再由算法的數(shù)學(xué)模型推導(dǎo)出線性SVM的具體算法,以及通過核函數(shù)將線性SVM推廣到非線性SVM。(2)重點研究了核函優(yōu)化選擇的方法,特別是獨立于SVM算法的核度量方法,分析了常用的核函數(shù)度量方法如核度量準(zhǔn)則、核極化準(zhǔn)則、推廣的多類核極化準(zhǔn)則,這些方法獨立于具體的算法不需要訓(xùn)練支持向量機,算法簡單復(fù)雜度低,并且能很好的選擇出核函數(shù),是一種很有效的核函數(shù)選擇方法。(3)介紹多核學(xué)習(xí)的方法,可以發(fā)現(xiàn)多核學(xué)習(xí)方法比單核學(xué)習(xí)方法性能好,多尺度核學(xué)習(xí)方法是多核學(xué)習(xí)方法的一種,靈活性好。在借鑒了核度量方法和多尺度核學(xué)習(xí)方法的優(yōu)點之后,提出了一種多尺度核加權(quán)融合優(yōu)化的學(xué)習(xí)方法,給出了理論的分析和證明。(4)將本文提出的方法在六種經(jīng)典的圖像數(shù)據(jù)集上進(jìn)行實驗。首先,驗證了加權(quán)融合的多尺度核優(yōu)化學(xué)習(xí)的方法可以很好的選擇出泛化性能好的加權(quán)融合的多尺度核。然后,將選擇出來的加權(quán)融合的多尺度核結(jié)合支持向量機算法和選擇高斯核函數(shù)的標(biāo)準(zhǔn)支持向量機、直推式支持向量機、拉普拉斯支持向量機、最近鄰算法做比較,發(fā)現(xiàn)本文提出的方法識別率和穩(wěn)定性都比較高,具有較大的優(yōu)越性。
[Abstract]:Support vector machine (SVM) is based on statistical learning theory and followed by structural risk minimization. It controls the complexity of learning machine and learning ability of learning machine simultaneously through structural risk minimization. Support vector machine (SVM) has a great advantage in solving the problem of high dimensional nonlinear small sample machine learning. It does not have many problems existing in traditional machine learning methods such as local extremum over-fitting and so on. Support vector machine (SVM) has been widely used and developed since it was put forward. However, it still has some problems, such as how to optimize the selection of kernel functions and parameters, how to use multi-scale kernel learning methods, etc. There is no perfect and unified model to follow. Therefore, it is necessary and meaningful to study the optimization of SVM kernel function and the optimization of SVM parameters and multi-scale kernel learning. Therefore, this paper makes a detailed and in-depth study from the above three aspects, makes some improvements on the basis of the kernel function measurement method, and selects the kernel function with the best performance without increasing the complexity of the original algorithm. To improve the generalization performance and generalization ability of SVM algorithm. In this paper, the following four aspects have been done: (1) the machine learning theory, statistical learning theory, support vector machine theory and so on are studied, and the mathematical model of the SVM algorithm obtained from the minimum separation of the optimal hyperplane is described in detail. Then the specific algorithm of linear SVM is derived from the mathematical model of the algorithm, and the linear SVM is extended to nonlinear SVMby kernel function. (2) the kernel function optimization method, especially the kernel metric independent of SVM algorithm, is studied emphatically. The kernel function metrics such as kernel metrics, kernel polarization criteria and generalized multi-class kernel polarization criteria are analyzed. These methods are independent of specific algorithms and do not require training support vector machines (SVM). It is a very effective method to select kernel function. (3) introducing the method of multi-kernel learning, we can find that the performance of multi-kernel learning method is better than that of single core learning method. Multi-scale kernel learning method is one of multi-kernel learning methods, which has good flexibility. After learning from the advantages of kernel metric and multi-scale kernel learning, a learning method of multi-scale kernel weighted fusion optimization is proposed. The theoretical analysis and proof are given. (4) the proposed method is tested on six classical image data sets. First of all, it is verified that the weighted fusion multi-scale kernel optimization learning method can select the weighted fusion multi-scale kernel with good generalization performance. Then, the weighted fusion multi-scale kernel is combined with the support vector machine algorithm and the standard support vector machine, the direct push support vector machine, the Laplace support vector machine and the nearest neighbor algorithm are compared with the standard support vector machine, the direct support vector machine, the Laplace support vector machine and the nearest neighbor algorithm. It is found that the method proposed in this paper has higher recognition rate and higher stability.
【學(xué)位授予單位】：杭州電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒斌,李落清;支持向量機回歸與v-支持向量機分類解的關(guān)系[J];湖北大學(xué)學(xué)報(自然科學(xué)版);2004年01期

2 吳娟;范玉妹;王麗;;關(guān)于改進(jìn)的支持向量機的研究[J];攀枝花學(xué)院學(xué)報;2006年05期

3 劉碩明;劉佳;楊海濱;;一種新的多類支持向量機算法[J];計算機應(yīng)用;2008年S2期

4 尹傳環(huán);牟少敏;田盛豐;黃厚寬;;單類支持向量機的研究進(jìn)展[J];計算機工程與應(yīng)用;2012年12期

5 王云英;閻滿富;;C-支持向量機及其改進(jìn)[J];唐山師范學(xué)院學(xué)報;2012年05期

6 李逢煥;;試述不確定支持向量機應(yīng)用分析及改進(jìn)思路[J];中國證券期貨;2012年12期

7 邵惠鶴;支持向量機理論及其應(yīng)用[J];自動化博覽;2003年S1期

8 曾嶸,蔣新華,劉建成;基于支持向量機的異常值檢測的兩種方法[J];信息技術(shù);2004年05期

9 張凡,賀蘇寧;模糊判決支持向量機在自動語種辨識中的研究[J];計算機工程與應(yīng)用;2004年21期

10 魏玲,張文修;基于支持向量機集成的分類[J];計算機工程;2004年13期

相關(guān)會議論文 前10條

1 余樂安;姚瀟;;基于中心化支持向量機的信用風(fēng)險評估模型[A];第六屆（2011）中國管理學(xué)年會——商務(wù)智能分會場論文集[C];2011年

2 劉希玉;徐志敏;段會川;;基于支持向量機的創(chuàng)新分類器[A];山東省計算機學(xué)會2005年信息技術(shù)與信息化研討會論文集（一）[C];2005年

3 史曉濤;劉建麗;駱玉榮;;一種抗噪音的支持向量機學(xué)習(xí)方法[A];全國第19屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

4 何琴淑;劉信恩;肖世富;;基于支持向量機的系統(tǒng)辨識方法研究及應(yīng)用[A];中國力學(xué)大會——2013論文摘要集[C];2013年

5 劉駿;;基于支持向量機方法的衢州降雪模型[A];第五屆長三角氣象科技論壇論文集[C];2008年

6 王婷;胡秀珍;;基于組合向量的支持向量機方法預(yù)測膜蛋白類型[A];第十一次中國生物物理學(xué)術(shù)大會暨第九屆全國會員代表大會摘要集[C];2009年

7 趙晶;高雋;張旭東;謝昭;;支持向量機綜述[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

8 周星宇;王思元;;智能數(shù)學(xué)與支持向量機[A];2005年中國智能自動化會議論文集[C];2005年

9 顏根廷;馬廣富;朱良寬;宋斌;;一種魯棒支持向量機算法[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

10 侯澍e，

本文編號：2051452