本文關(guān)鍵詞：支持向量機(jī)魯棒性模型與算法研究

  更多相關(guān)文章： 支持向量回歸機(jī) 最小二乘支持向量回歸機(jī) 魯棒 損失函數(shù) DC規(guī)劃

【摘要】：支持向量機(jī)是基于統(tǒng)計(jì)學(xué)習(xí)理論,以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為原則的一種針對小樣本情況的新型機(jī)器學(xué)習(xí)方法,具有結(jié)構(gòu)簡單、全局最優(yōu)解和泛化能力強(qiáng)等優(yōu)點(diǎn).支持向量機(jī)目前已成為機(jī)器學(xué)習(xí)領(lǐng)域解決分類問題和回歸問題的有效工具.然而,在現(xiàn)實(shí)問題中,由于受到各種因素的影響,樣本數(shù)據(jù)通常含有噪聲和異常值,這些數(shù)據(jù)使支持向量機(jī)的學(xué)習(xí)能力受到影響,表現(xiàn)在對異常值較敏感、魯棒性較差等.本文擬從損失函數(shù)的角度出發(fā),應(yīng)用最優(yōu)化理論與方法,研究具有魯棒性的支持向量機(jī)改進(jìn)模型與求解算法,使其能更有效地解決實(shí)際問題.本文的研究工作包括以下幾部分內(nèi)容： 1.針對支持向量機(jī)對噪聲和異常值較敏感的問題,提出一個斜率可變、間隔可變的非凸廣義線性損失函數(shù)抑制異常值的影響,并在此基礎(chǔ)上建立魯棒支持向量回歸機(jī)模型.該魯棒模型能夠更靈活地處理回歸估計(jì)問題,同時對異常值具有較強(qiáng)的抑制作用.由于非凸廣義不敏感損失函數(shù)是不可微的,提出兩個可微的huber損失函數(shù)對其逼近,將魯棒模型對應(yīng)的優(yōu)化問題改寫為一個DC (Difference of Convex functions)規(guī)劃,并利用牛頓算法進(jìn)行求解.同時,分析了算法的計(jì)算復(fù)雜度和收斂性.利用公開的標(biāo)準(zhǔn)數(shù)據(jù)集、金融時間序列數(shù)據(jù)和排序?qū)W習(xí)數(shù)據(jù)進(jìn)行數(shù)值實(shí)驗(yàn)驗(yàn)證該模型和求解算法的有效性. 2.在二次不敏感損失函數(shù)的基礎(chǔ)上,提出一個系數(shù)可變、間隔可變的非凸廣義二次不敏感損失函數(shù).通過限定該損失函數(shù)的上界為常數(shù)來抑制異常值的影響,并建立基于該損失函數(shù)的魯棒支持向量回歸機(jī)模型,設(shè)計(jì)模型的求解算法.標(biāo)準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)表明提出的模型對異常值不敏感,而且具有一定的稀疏性. 3.為了克服最小二乘支持向量機(jī)對異常值較敏感的缺陷,構(gòu)造一個非凸二次損失函數(shù)限制異常值的負(fù)面影響,提出基于非凸二次損失函數(shù)的魯棒最小二乘支持向量回歸機(jī)模型.非凸二次損失函數(shù)可表達(dá)為兩個凸函數(shù)的差,因此提出的魯棒模型可改寫為一個DC規(guī)劃.根據(jù)凹凸過程和最優(yōu)性條件,魯棒模型的優(yōu)化問題的最優(yōu)解可通過迭代實(shí)現(xiàn),每一步迭代只需求解一個線性方程組.利用模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證了模型的有效性. 4.針對最小二乘支持向量機(jī)對異常值較敏感,魯棒性差等問題,采用Laplace損失函數(shù)削弱異常值在最小二乘支持向量回歸機(jī)模型中的影響,建立了基于Laplace損失函數(shù)的魯棒最小二乘支持向量機(jī)模型.由于Laplace損失函數(shù)不可微,對應(yīng)的優(yōu)化問題存在求解上的困難.我們用Huber損失函數(shù)去近似Laplace損失函數(shù),并利用牛頓法求解相應(yīng)的魯棒模型.模擬數(shù)據(jù)和標(biāo)準(zhǔn)公開數(shù)據(jù)的數(shù)值實(shí)驗(yàn)結(jié)果表明,對比標(biāo)準(zhǔn)的最小二乘支持向量機(jī),我們提出的模型能夠獲得更好的魯棒性.
【學(xué)位授予單位】：中國農(nóng)業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP18

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鹿衛(wèi)國,戴亞平,涂序彥,高峰;適用于加權(quán)樣本集處理的加權(quán)支持向量機(jī)方法[J];北京理工大學(xué)學(xué)報(bào);2005年03期

2 熊金志;胡金蓮;袁華強(qiáng);胡天明;李廣明;;一類光滑支持向量機(jī)新函數(shù)的研究[J];電子學(xué)報(bào);2007年02期

3 朱嘉鋼,王士同;Huber-SVR中參數(shù)μ與輸入噪聲間關(guān)系的研究[J];復(fù)旦學(xué)報(bào)(自然科學(xué)版);2004年05期

4 熊金志;袁華強(qiáng);彭宏;;多項(xiàng)式光滑的支持向量機(jī)一般模型研究[J];計(jì)算機(jī)研究與發(fā)展;2008年08期

5 王快妮;鐘萍;趙耀紅;;魯棒SVR在金融時間序列預(yù)測中的應(yīng)用[J];計(jì)算機(jī)工程;2011年15期

6 朱永生,王成棟,張優(yōu)云;二次損失函數(shù)支持向量機(jī)性能的研究[J];計(jì)算機(jī)學(xué)報(bào);2003年08期

7 袁玉波,嚴(yán)杰,徐成賢;多項(xiàng)式光滑的支撐向量機(jī)[J];計(jì)算機(jī)學(xué)報(bào);2005年01期

8 溫雯;郝志峰;楊曉偉;戰(zhàn)蔭偉;;基于假設(shè)檢驗(yàn)及異常點(diǎn)剔除的穩(wěn)健LS-SVM回歸[J];模式識別與人工智能;2010年02期

9 田盛豐,黃厚寬;回歸型支持向量機(jī)的簡化算法[J];軟件學(xué)報(bào);2002年06期

10 張翔;肖小玲;徐光yP;;基于樣本之間緊密度的模糊支持向量機(jī)方法[J];軟件學(xué)報(bào);2006年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 劉葉青;原始空間中支持向量機(jī)若干問題的研究[D];西安電子科技大學(xué);2009年

2 劉京禮;魯棒最小二乘支持向量機(jī)研究與應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2010年

，

本文編號：1241435