發(fā)布時(shí)間：2021-11-05 13:12

　　本文提出了一種簡單的多核學(xué)習(xí)框架,用于對復(fù)雜數(shù)據(jù)的回歸問題進(jìn)行建模.選取多尺度的高斯核函數(shù)作為基本內(nèi)核,根據(jù)隨機(jī)配置的方法設(shè)置核尺度參數(shù).結(jié)合l1正則化方法,利用樣本自適應(yīng)地選擇最優(yōu)的模型參數(shù),構(gòu)造一個(gè)具有稀疏約束的單任務(wù)機(jī)器學(xué)習(xí)解決方法.之后拓展該多核學(xué)習(xí)框架于多任務(wù)學(xué)習(xí)模型,采用經(jīng)典的l2,1多任務(wù)正則化方法提出一個(gè)基于隨機(jī)多尺度核的組稀疏多任務(wù)模型來對傳統(tǒng)的線性多任務(wù)模型進(jìn)行改良.在此基礎(chǔ)上,分析隨機(jī)多尺度核l2,1正則化多任務(wù)模型在運(yùn)算效率等方面的缺陷,分析共享隱層神經(jīng)元網(wǎng)絡(luò)的多任務(wù)方法與生成網(wǎng)絡(luò)的內(nèi)在機(jī)理,構(gòu)造隨機(jī)多尺度核的生成網(wǎng)絡(luò)多任務(wù)模型并對殘差的極限問題進(jìn)行研究.隨機(jī)設(shè)置核參數(shù)的方法所提供的基函數(shù)具有充分的近似能力,參數(shù)通過在某個(gè)預(yù)置的概率分布中隨機(jī)抽樣取得,概率分布參數(shù)與核參數(shù)是通過在訓(xùn)練樣本中執(zhí)行交叉驗(yàn)證的技術(shù)計(jì)算得到的.數(shù)據(jù)實(shí)驗(yàn)主要分為單任務(wù)算法與多任務(wù)算法兩個(gè)部分,分別對模擬數(shù)據(jù)與真實(shí)數(shù)據(jù)數(shù)據(jù)進(jìn)行建模分析,結(jié)果表明隨機(jī)多尺度核方法對參數(shù)進(jìn)行了自適應(yīng)的選擇,模型的泛化性能較原有方法好. 

【文章來源】：浙江工商大學(xué)浙江省

【文章頁數(shù)】：54 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１：?ＲＳＳＫＬ－ＳＣＲ和ＲＭＳＫＬ－ＳＣＲ算法在數(shù)據(jù)集１上的擬合性能．??

要點(diǎn)２：在執(zhí)行ＲＭＳＫＬ－ＳＣＲ的過程中，假設(shè)我們目前已經(jīng)通過交叉驗(yàn)證的方??法確定參數(shù)有尺度選取范圍丨〇，叫與正則化參數(shù)Ａ，如何在該范圍［０，叫內(nèi)選取最??終模型的多個(gè)尺度參數(shù)丨％丨是一個(gè)值得考慮的問題．在圖２．２中我們展示５０次隨??機(jī)選取不同的多尺度參數(shù)丨ａ丨，其中１７?＝?２０４８，?Ａ?＝?１．２３５６．可以看到只要確定了??最優(yōu)參數(shù)ａ?Ａ后，通過隨機(jī)方法取得的不同組別的丨所對應(yīng)的模型在訓(xùn)練誤差??與測試誤差上擬合效果類似．由此可以看到在ＲＭＳＫＬ－ＳＣＲ中最重要的是需要確??定參數(shù)與Ａ，而的選擇只需在尺度范圍內(nèi)進(jìn)行隨機(jī)選擇即可．??０．０１０???０．０１０－１???０．００８?■?０．００８?■??０．００６?？?０．００６－??姿?０．００４?■?ｕｊ?０．００４?？??Ｉ?０００２?＊?ｉ?０?００２??０．０００?－?０．０００?■??－０．００２．?－０．００２?■??－０．００４?■?－０．００４?■??０?１０?２０?３０?４０?５０?０?１０?２０?３０?４０?５０??ｔ?ｔ??⑷訓(xùn)練誤差?（ｂ）測試誤差??圖２．２：?ＲＭＳＫＬ－ＳＣＲ在數(shù)據(jù)集１上的誤差ＲＭＳＥ，Ｋ＝５０．??要點(diǎn)３：為了探究我們ＲＭＳＫＬ－ＳＣＲ算法的學(xué)習(xí)能力，我們在表２．２中展示了??５種算法的擬合結(jié)果，分別列出每種算法的訓(xùn)練誤差ＲＭＳＥ與測試誤差ＲＭＳＥ，模??型參數(shù)與正則化參數(shù)的選擇是通過在訓(xùn)練數(shù)據(jù)上使用１０－折交叉驗(yàn)證的方法得到??的，并且在此次實(shí)驗(yàn)中設(shè)置隨機(jī)抽取多尺度序列的次數(shù)Ｘ?＝?５０．由于隨機(jī)性的存??在

?ＩＮＰＵＴＳ??圖３．１：?４個(gè)單任務(wù)神經(jīng)網(wǎng)絡(luò)模型．??圖３．１展示了處理４個(gè)相關(guān)任務(wù)時(shí)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的做法，分別建立４個(gè)單獨(dú)的??網(wǎng)絡(luò)模型，各自的樣本集僅用來對各自的任務(wù)進(jìn)行求解，４個(gè)任務(wù)在訓(xùn)練的過程中??相互獨(dú)立．這種做法拋棄了?４個(gè)任務(wù)之間是相互有關(guān)聯(lián)的這一信息，在樣本量較少??的情況下容易出現(xiàn)過擬合情況，模型的泛化性能效果較差．??圖３．２展示了共享隱層節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型，與圖３．１不同，多任務(wù)模型在構(gòu)建??過程中設(shè)置各個(gè)任務(wù)之間共享隱層神經(jīng)元，而對于不同的任務(wù)，其輸出的差異由各??自網(wǎng)絡(luò)的外權(quán)參數(shù)所控制．而隱層的內(nèi)權(quán)參數(shù)由４個(gè)任務(wù)共同決定．共享神經(jīng)元的??做法大大降低了由于樣本量較小，神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)過擬合的風(fēng)險(xiǎn)．??Ｂａｘｔｅｒ＿證明了共享隱層的多任務(wù)模型過擬合內(nèi)權(quán)參數(shù)的風(fēng)險(xiǎn)為０（Ａ〇，?Ｎ表??示任務(wù)個(gè)數(shù)

【參考文獻(xiàn)】：
期刊論文
[1]多核學(xué)習(xí)方法[J]. 汪洪橋,孫富春,蔡艷寧,陳寧,丁林閣.  自動化學(xué)報(bào). 2010(08)
[2]基于協(xié)同聚類的多核學(xué)習(xí)[J]. 牟少敏,田盛豐,尹傳環(huán).  北京交通大學(xué)學(xué)報(bào). 2008(02)

博士論文
[1]多任務(wù)學(xué)習(xí)算法研究[D]. 浦劍.復(fù)旦大學(xué) 2013



本文編號：3477867