【摘要】：本文對再生核Hilbert空間中的最小二乘正則化回歸學(xué)習(xí)算法做出改進(jìn),提出了基于多尺度核的分布式正則化回歸學(xué)習(xí)算法。在回歸問題中,對于一些分布不平坦且樣本規(guī)模較大的復(fù)雜數(shù)據(jù),本文基于多核方法和分布式學(xué)習(xí)方法,將樣本數(shù)據(jù)集隨機(jī)劃分成多個互斥的樣本子集,著重考慮到每個子集中數(shù)據(jù)波動程度不同,因而在每個子集上采用不同系數(shù)線性組合成的多尺度高斯核函數(shù),并由這多個不同尺度的高斯核所生成的再生核Hilbert空間的和空間作為假設(shè)空間,通過最小二乘正則化回歸算法同時獨(dú)立地進(jìn)行學(xué)習(xí),從而得到一個局部估計(jì),最終將所有局部估計(jì)加權(quán)合成得到該樣本的總體估計(jì)。不同尺度大小的高斯核所組合成的多核方法可以很好地結(jié)合各個單核的特性,盡可能地?cái)M合復(fù)雜數(shù)據(jù)中不同的波動程度和變化趨勢;基于分而治之思想的分布式學(xué)習(xí)方法,可以降低核矩陣求逆運(yùn)算所需的運(yùn)行時間和存儲成本,有效地提高算法的運(yùn)行效率;在不同樣本子集上設(shè)置不同的多尺度核函數(shù)組合系數(shù),使其在每個子集上進(jìn)行動態(tài)變化,可以讓多尺度核函數(shù)具有一定的自適應(yīng)能力。本文通過兩個模擬數(shù)據(jù)集和四個真實(shí)數(shù)據(jù)集對所提出的改進(jìn)算法和已有的三種算法的表現(xiàn)性能展開實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果表明,本文所提出的改進(jìn)算法可以在較短的時間內(nèi)達(dá)到較佳的擬合效果,不僅能夠保證較優(yōu)的擬合能力,也可以成功地降低算法正常實(shí)現(xiàn)所需的運(yùn)行成本。
【圖文】：

方法的算法在面對樣本規(guī)模較大的數(shù)據(jù)時，可以成功地降低算法運(yùn)行時間和計(jì)算逡逑存儲成本。目前己有一些學(xué)者從學(xué)習(xí)理論的誤差分析這一角度證明了基于分布式逡逑學(xué)習(xí)方法的算法具有較優(yōu)的逼近性和較佳的學(xué)習(xí)率，并且在很多實(shí)際應(yīng)用中均驗(yàn)逡逑證了該算法在降低計(jì)算成本的同時，優(yōu)良的擬合性能依舊可以得到保證。逡逑基于分布式學(xué)習(xí)方法的算法具體包含以下三個步驟：逡逑（丨）將數(shù)據(jù)樣本集２邋：＝邋｛（＾％）｝卩＝１隨機(jī)劃分成ｍ個互斥的樣本子集仁誥１；逡逑（２）在每個樣本子集＆上分配一個相同參數(shù)的基學(xué)習(xí)器，以此進(jìn)行同步獨(dú)立逡逑地學(xué)習(xí)，從而學(xué)習(xí)到一個局部估計(jì)／Ｚｓ；逡逑（３）將所學(xué)習(xí)到的ｍ個局部估計(jì)傳送到一個中心處理器，將其進(jìn)行加權(quán)合成，逡逑得到一個總體估計(jì)／ｚ，以此作為整個數(shù)據(jù)樣本集所學(xué)習(xí)到的函數(shù)。逡逑本文通過示意圖更為直觀形象地展示了分布式學(xué)習(xí)方法的步驟流程，具體見逡逑下圖２－１所示。逡逑

（１）將數(shù)據(jù)樣本集ｚ邋：＝邋｛0ｉ＞ｙｉ）｝ｆ＝１隨機(jī)劃分成ｍ個互斥的樣本子集逡逑（２）在每個樣本子集＆上，采用不同的一組系數(shù)所線性組合而成的多尺度逡逑核函數(shù)，并在由這多個不同單核所生成的再生核Ｈｉｌｂｅｒｔ空間的和空間逡逑；＾。這一假設(shè)空間中，通過正則化回歸學(xué)習(xí)算法，同時獨(dú)立地進(jìn)行學(xué)習(xí)，逡逑從而學(xué)習(xí)到一個局部估計(jì)／ＺｓＸ。；逡逑（３）將所學(xué)習(xí)到的ｍ個局部估計(jì)傳送到一個中心處理器，將其進(jìn)行加權(quán)合成，，逡逑得到一個總體估計(jì)／ｚ＾，以此作為整個數(shù)據(jù)樣本集所學(xué)習(xí)到的函數(shù)。逡逑本文通過示意圖更為直觀形象地展示了和空間；＾。中ＤＬＭＫ－ＬＳＲＲ學(xué)習(xí)算逡逑法的步驟流程，具體見下圖３－１所示。逡逑￣Ｌ逡逑
【學(xué)位授予單位】：浙江工商大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP181;C81

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李彥;鄧承志;汪勝前;朱慧琦;;基于簡單L_(1/2)稀疏正則化的高光譜混合像元分解[J];江西科技師范大學(xué)學(xué)報;2016年06期

2 陳曉;張磊;郭曼;葛坤朋;王彥國;;大地電磁測深和重力數(shù)據(jù)同步正則化聯(lián)合反演[J];科學(xué)技術(shù)與工程;2016年08期

3 田福志;洪祖江;張純;宋固全;;L_(1/2)范數(shù)正則化模型修正方法在結(jié)構(gòu)損傷識別中的應(yīng)用[J];南昌大學(xué)學(xué)報(理科版);2016年02期

4 徐玉聰;趙寧;秦策;王銳;張召彬;;大定源瞬變電磁一維自適應(yīng)正則化反演[J];地質(zhì)與勘探;2015年02期

5 周鋒;曾雪迎;楊力華;;一種基于正則化的稀疏表示方法[J];數(shù)學(xué)學(xué)報(中文版);2015年04期

6 覃慶炎;羅威;周洪生;;中心回線瞬變電磁自適應(yīng)正則化反演[J];科學(xué)技術(shù)與工程;2014年13期

7 劉國金;曾孝平;劉刈;;圖上自適應(yīng)正則化的圖像去噪[J];重慶大學(xué)學(xué)報;2012年10期

8 賀春東;張永斌;畢傳興;陳心昭;許濱;;分部優(yōu)化正則化在近場聲全息技術(shù)中的應(yīng)用[J];聲學(xué)學(xué)報;2011年04期

9 沈云中,劉大杰;正則化解的單位權(quán)方差無偏估計(jì)公式[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2002年06期

10 阮曉青,趙冰;地震波走時問題的正則化解[J];工程數(shù)學(xué)學(xué)報;2002年02期

相關(guān)會議論文 前10條

1 毛玉明;郭杏林;呂洪彬;;動載荷反演問題的正則化求解[A];第18屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集第Ⅰ冊[C];2009年

2 汪馳升;丁曉利;單新建;;大地測量數(shù)據(jù)地震滑動分布反演的非均勻正則化研究[A];2015中國地球科學(xué)聯(lián)合學(xué)術(shù)年會論文集（二十四）——專題56空間大地測量與地殼動力學(xué)[C];2015年

3 王彥飛;;地球物理數(shù)值反演問題的最優(yōu)化和正則化理論與方法[A];中國地球物理學(xué)會第二十七屆年會論文集[C];2011年

4 傅向華;王志強(qiáng);趙良輝;杜文峰;;基于拉普拉斯流形正則化的半監(jiān)督圖像檢索[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議論文集[C];2008年

5 潘天成;呂中榮;汪利;;基于稀疏正則化的內(nèi)部點(diǎn)熱源識別[A];2018年全國固體力學(xué)學(xué)術(shù)會議摘要集（下）[C];2018年

6 解凱;呂妍昱;;一種高效的正則化參數(shù)估計(jì)算法[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（上冊）[C];2008年

7 張意;張衛(wèi)華;陳虎;周激流;;基于分?jǐn)?shù)階自適應(yīng)正則化的統(tǒng)計(jì)迭代重建方法[A];第十四屆中國體視學(xué)與圖像分析學(xué)術(shù)會議論文集[C];2015年

8 張煜東;吳樂南;;基于CTLS與各向異性正則化的光流估計(jì)方法[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2008年

9 曹艷平;季湘櫻;馮西橋;;壓痕實(shí)驗(yàn)確定黏彈性材料的正則化松弛模量[A];中國力學(xué)學(xué)會學(xué)術(shù)大會'2009論文摘要集[C];2009年

10 劉曉芳;徐文龍;陳永利;;基于非二次正則化的并行磁共振圖像保邊性重建[A];浙江生物醫(yī)學(xué)工程學(xué)會第九屆年會論文匯編[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 丁轉(zhuǎn)蓮;基于圖正則化的復(fù)雜網(wǎng)絡(luò)社團(tuán)檢測研究[D];安徽大學(xué);2018年

2 王梅;正則化路徑上的支持向量機(jī)模型組合[D];天津大學(xué);2013年

3 吳磊;(?)_p正則化問題的算法研究[D];湖南大學(xué);2013年

4 薛暉;分類器設(shè)計(jì)中的正則化技術(shù)研究[D];南京航空航天大學(xué);2008年

5 徐曉琳;面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D];安徽大學(xué);2017年

6 王文娟;地球物理反演中病態(tài)矩陣方程正則化解算方法研究[D];成都理工大學(xué);2010年

7 王振杰;大地測量中不適定問題的正則化解法研究[D];中國科學(xué)院研究生院（測量與地球物理研究所）;2003年

8 巴拉卡，雅各布Maiseli（Baraka Jacob Maiseli）;基于正則化的非線性擴(kuò)散模型的超分辨率方法[D];哈爾濱工業(yè)大學(xué);2015年

9 劉小蘭;基于圖和熵正則化的半監(jiān)督分類算法[D];華南理工大學(xué);2011年

10 劉兵;基于聚類與流形正則化的分類方法研究[D];中國礦業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 李偉凱;基于正則化框架的腦網(wǎng)絡(luò)構(gòu)建與應(yīng)用研究[D];重慶交通大學(xué);2018年

2 孫鶯萁;核方法近似正則化路徑及其在油井產(chǎn)油量預(yù)測上的應(yīng)用[D];東北石油大學(xué);2018年

3 韓樂;噪聲污染數(shù)據(jù)的正則化相位恢復(fù)研究[D];天津師范大學(xué);2018年

4 姜榮建;Lp正則非線性規(guī)劃問題的相關(guān)算法研究[D];清華大學(xué);2017年

5 周策;基于空間正則化的選擇性目標(biāo)跟蹤方法[D];天津大學(xué);2018年

6 王潔微;基于多尺度核的分布式正則化回歸學(xué)習(xí)算法研究[D];浙江工商大學(xué);2018年

7 郭善亮;自正則化隨機(jī)和的鞍點(diǎn)近似[D];蘇州大學(xué);2017年

8 孫琦;基于正則化濾波和奇異值分解的條紋模式方向估計(jì)和濾波方法研究[D];山東大學(xué);2018年

9 董昊;魯棒自適應(yīng)圖正則化聚類算法[D];遼寧師范大學(xué);2018年

10 翟冬靈;基于圖正則化降維的人臉識別算法研究[D];揚(yáng)州大學(xué);2017年

本文編號：2658058