【摘要】：增量學(xué)習(xí)算法是實(shí)現(xiàn)如何在數(shù)據(jù)增長(zhǎng)過(guò)程中以在線的方式進(jìn)行快速模型更新的有效手段。與此同時(shí),極限學(xué)習(xí)機(jī)的產(chǎn)生和發(fā)展又為快速建模和更新提供了新的思路。增量學(xué)習(xí)和極限學(xué)習(xí)機(jī)的研究在過(guò)去的幾十年里取得了豐碩的成果,但在當(dāng)前數(shù)據(jù)飛速發(fā)展的背景下離實(shí)際應(yīng)用還有一段距離�，F(xiàn)有的方法主要存在三方面的問(wèn)題:其一,基于極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)在應(yīng)對(duì)數(shù)據(jù)增量的過(guò)程中需要事先確定網(wǎng)絡(luò)結(jié)構(gòu),但數(shù)據(jù)持續(xù)增加的過(guò)程會(huì)導(dǎo)致合適網(wǎng)絡(luò)結(jié)構(gòu)的確定也成為一個(gè)問(wèn)題;其二,基于極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)算法針對(duì)的是數(shù)據(jù)變化過(guò)程帶來(lái)的增量更新,但數(shù)據(jù)隨著時(shí)間的增長(zhǎng)可能會(huì)呈現(xiàn)出不平衡性的特點(diǎn),甚至在增長(zhǎng)過(guò)程中發(fā)生概念漂移的問(wèn)題;其三,現(xiàn)有基于極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)研究關(guān)注的是單純的數(shù)據(jù)增加或減少帶來(lái)的模型更新,但數(shù)據(jù)的變化情況在具體應(yīng)用場(chǎng)景下更加復(fù)雜,通常呈現(xiàn)出多種數(shù)據(jù)增量混合在一起的情況,進(jìn)而使相應(yīng)的模型增量更新也更加復(fù)雜。針對(duì)這些問(wèn)題,論文圍繞基于極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)算法,特別是在線學(xué)習(xí)算法展開研究。在歸納總結(jié)增量學(xué)習(xí)和極限學(xué)習(xí)機(jī)相關(guān)算法的基礎(chǔ)之上,論文針對(duì)當(dāng)前方法存在的局限性提出對(duì)應(yīng)的解決思路和方案,并取得了如下研究成果:(1)提出了在線順序增量極限學(xué)習(xí)機(jī)模型,在數(shù)據(jù)增量的過(guò)程中同步進(jìn)行結(jié)構(gòu)增量的模型更新。不同于單純的基于數(shù)據(jù)增量的極限學(xué)習(xí)機(jī)算法,所提算法在每次模型隨新生成數(shù)據(jù)進(jìn)行更新后監(jiān)控當(dāng)前分類/回歸誤差變化。當(dāng)誤差變化過(guò)大時(shí),算法在該過(guò)程中同時(shí)增加網(wǎng)絡(luò)節(jié)點(diǎn),并通過(guò)分塊矩陣的廣義逆矩陣“秩一修正”來(lái)優(yōu)化求解過(guò)程。在分類/回歸數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明所提算法相對(duì)于其他基于極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)算法具有更好的分類/回歸性能。(2)提出了加權(quán)領(lǐng)域遷移極限學(xué)習(xí)機(jī)及其對(duì)應(yīng)的在線學(xué)習(xí)算法來(lái)應(yīng)對(duì)數(shù)據(jù)持續(xù)到達(dá)過(guò)程中伴隨的不平衡數(shù)據(jù)學(xué)習(xí)問(wèn)題,并應(yīng)用在氣體傳感器漂移補(bǔ)償問(wèn)題中。為了應(yīng)對(duì)數(shù)據(jù)在增量過(guò)程中產(chǎn)生的概念漂移和數(shù)據(jù)不平衡問(wèn)題,論文在領(lǐng)域自適應(yīng)算法中引入加權(quán)學(xué)習(xí)來(lái)構(gòu)建半監(jiān)督學(xué)習(xí)方式下的分類模型。在此基礎(chǔ)之上,論文針對(duì)未標(biāo)記數(shù)據(jù)的增量推導(dǎo)了對(duì)應(yīng)的在線學(xué)習(xí)算法。在氣體傳感器數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明加權(quán)領(lǐng)域遷移極限學(xué)習(xí)機(jī)能夠以更少的標(biāo)記樣本獲得更高的分類正確率,同時(shí),其在線學(xué)習(xí)版本在保持這種特點(diǎn)的同時(shí)能使模型進(jìn)行在線更新。(3)提出了兩種在線領(lǐng)域自適應(yīng)極限學(xué)習(xí)機(jī)模型應(yīng)對(duì)數(shù)據(jù)動(dòng)態(tài)變化時(shí)半監(jiān)督學(xué)習(xí)模型的在線更新,并應(yīng)用在氣體傳感器漂移補(bǔ)償問(wèn)題中。在半監(jiān)督學(xué)習(xí)方式下,標(biāo)記和未標(biāo)記數(shù)據(jù)的變化包括各自的增減以及數(shù)據(jù)由未標(biāo)記變?yōu)闃?biāo)記的過(guò)程。針對(duì)這一系列變化帶來(lái)的模型在線更新問(wèn)題,論文基于兩類不同的半監(jiān)督學(xué)習(xí)模型假設(shè)分別提出了基于源領(lǐng)域和基于目標(biāo)領(lǐng)域的在線領(lǐng)域自適應(yīng)極限學(xué)習(xí)機(jī)算法。在氣體傳感器數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明所提算法都能以在線學(xué)習(xí)的方式進(jìn)行模型更新,其中基于源領(lǐng)域的在線學(xué)習(xí)模型在標(biāo)簽較少時(shí)分類正確率更高,而基于目標(biāo)領(lǐng)域的在線學(xué)習(xí)模型能隨著標(biāo)記樣本的增加獲得更好的分類性能。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 毛文濤;王金婉;何玲;袁培燕;;面向貫序不均衡數(shù)據(jù)的混合采樣極限學(xué)習(xí)機(jī)[J];計(jì)算機(jī)應(yīng)用;2015年08期

本文編號(hào)：2799019