本文旨在研究復(fù)雜數(shù)據(jù)的魯棒建模問(wèn)題,提出了一種多核穩(wěn)健回歸學(xué)習(xí)算法（RR-MCC-MK）。一方面在針對(duì)一些分布非平坦等情況的數(shù)據(jù)建模時(shí),核方法中常見的單核方法遇到了挑戰(zhàn);另一方面當(dāng)樣本數(shù)據(jù)中包含非高斯噪聲或異常值時(shí),利用最小二乘方法建立的回歸學(xué)習(xí)算法的性能表現(xiàn)不好,即模型的穩(wěn)健性較差。因此在本文的設(shè)置中,回歸學(xué)習(xí)的假設(shè)空間將基于由單核函數(shù)的線性組合構(gòu)造的多核函數(shù)構(gòu)建,回歸學(xué)習(xí)優(yōu)化策略中的損失函數(shù)將由最小二乘方法中的平方損失函數(shù)替換為最大相關(guān)熵誘導(dǎo)損失函數(shù),在結(jié)構(gòu)風(fēng)險(xiǎn)最小化的框架下建立回歸學(xué)習(xí)算法。提出RR-MCC-MK算法后,本文給出了算法的理論分析。基于一種新的誤差分解方法和一些合理的假設(shè)條件,通過(guò)建立算法的超額誤差界得出RR-MCC-MK算法的學(xué)習(xí)率。兩個(gè)函數(shù)模擬數(shù)據(jù)集和兩個(gè)真實(shí)數(shù)據(jù)集上的算法實(shí)驗(yàn)評(píng)估了RR-MCC-MK算法的表現(xiàn),實(shí)驗(yàn)證明了其較于兩種對(duì)比算法的優(yōu)越性。 

【文章來(lái)源】：浙江工商大學(xué)浙江省

【文章頁(yè)數(shù)】：44 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

基本框架

多核空間下基于最大相關(guān)熵準(zhǔn)則的穩(wěn)健回歸學(xué)習(xí)(a)f1(b)f2圖4.2:兩個(gè)模擬函數(shù)的圖像.分布N(0,0.1)。{ε(2)i}為一個(gè)脈沖函數(shù)(異常值)，Prob(ε(2)i=t)=1pt=0;p/2t=1;p/2t=1.τ=0或τ=maxfjminfj，可以設(shè)置添加的噪聲數(shù)據(jù)中是否包含異常值。當(dāng)τ=maxfjminfj時(shí)，分別設(shè)置p=0.05,0.1,0.15,0.2，即分別有5%、10%、15%、20%的樣本包含異常值。其次，構(gòu)造函數(shù)模擬實(shí)驗(yàn)的測(cè)試集:依據(jù)函數(shù)fi,i=1,2隨機(jī)生成一個(gè)樣本量大小為100個(gè)樣本點(diǎn)數(shù)據(jù){(xi,fj(xi))}。這樣，就設(shè)置好了測(cè)試集，訓(xùn)練集和測(cè)試集的樣本量比例為2:1。4.2.2實(shí)驗(yàn)結(jié)果分析分別將LSRR-1-SS算法、RKSR算法、RR-MCC-MK三種算法應(yīng)用于訓(xùn)練集，學(xué)習(xí)得到不同的模型。之后，在測(cè)試集上分別測(cè)試模型，依據(jù)(4-2)式得到模型的測(cè)試誤差(測(cè)試MSE)。為了使得測(cè)試結(jié)果穩(wěn)定，測(cè)試階段重復(fù)10次，計(jì)算一次訓(xùn)練模型在10組不同的隨機(jī)測(cè)試集上的平均測(cè)試MSE，以此流程作為一輪函數(shù)模擬實(shí)驗(yàn)。重復(fù)50輪函數(shù)模擬實(shí)驗(yàn)，計(jì)算50輪平均測(cè)試MSE的平均值。表4.3為僅添加三種分布噪聲的函數(shù)模擬實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)中三種算法中表現(xiàn)優(yōu)異的算法結(jié)果用黑體標(biāo)出。27

多核空間下基于最大相關(guān)熵準(zhǔn)則的穩(wěn)健回歸學(xué)習(xí)(a)(b)(c)圖4.3:f1模擬結(jié)果(a)卡方噪聲；(b)指數(shù)噪聲；(c)高斯噪聲表4.4為添加三種分布噪聲和不同比例異常值的f1函數(shù)模擬實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)中三種算法中表現(xiàn)優(yōu)異的算法結(jié)果用黑體標(biāo)出。由表4.4，相較于其他兩種算法，RR-MCC-MK算法在所有的情況(分布噪聲和不同比例的異常值)下都有著更小的測(cè)試誤差。相較于LSRR-1-SS算法，RR-MCC-MK算法可以更好地處理異常值。即使是針對(duì)高斯噪聲，加入不同比例的異常值后，LSRR-1-SS算法也遇到了挑戰(zhàn)，而C損失能夠更加高效地處理異常值。與RKSR算法相比，RR-MCC-MK算法表現(xiàn)優(yōu)秀的主要原因?yàn)槟M函數(shù)變化復(fù)雜，多核空間具有更強(qiáng)的逼近能力。圖4.4為f1在卡方分布噪聲的基礎(chǔ)上加入兩種水平的異常值的數(shù)據(jù)集上的模擬函數(shù)實(shí)驗(yàn)，其驗(yàn)證了上述結(jié)論。綜上所述，RR-MCC-MK算法考慮了可以得到良好穩(wěn)健性的魯棒損失函數(shù)C損失和逼近能力更為強(qiáng)大的多核空間，使得模型的泛化性顯著增強(qiáng)。函數(shù)模擬實(shí)驗(yàn)結(jié)果驗(yàn)證了這一觀點(diǎn)，表明RR-MCC-MK算法在處理包含非高斯噪聲亦或高斯噪聲的數(shù)據(jù)時(shí)較與LSRR-1-SS算法和RKSR算法有著更好的表現(xiàn)。29


本文編號(hào)：3276174