近年來,受益于數(shù)據(jù)的海量增加和計(jì)算資源的日益增強(qiáng),機(jī)器學(xué)習(xí)在很多應(yīng)用領(lǐng)域都取得了突破性進(jìn)展。然而,機(jī)器學(xué)習(xí)技術(shù)的性能提升非常依賴于大規(guī)模的標(biāo)記數(shù)據(jù)集,尤其是深度學(xué)習(xí),由于其訓(xùn)練過程需要擬合大量的參數(shù),在標(biāo)記數(shù)據(jù)不夠充分的情況下,很容易出現(xiàn)過擬合現(xiàn)象。對(duì)于很多任務(wù)來說,人工標(biāo)注一個(gè)大規(guī)模的訓(xùn)練數(shù)據(jù)集是一項(xiàng)非常棘手的工作,需要耗費(fèi)大量的人力成本和時(shí)間開銷。數(shù)據(jù)有效學(xué)習(xí)旨在提高機(jī)器學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)的利用效率,減少其對(duì)大規(guī)模標(biāo)記數(shù)據(jù)的過分依賴,在近年來受到了大量的關(guān)注和研究。通過研究面向數(shù)據(jù)有效學(xué)習(xí)的機(jī)器學(xué)習(xí)技術(shù),有助于提高機(jī)器學(xué)習(xí)的實(shí)用性,降低其相關(guān)應(yīng)用的開發(fā)成本,并使其能夠更好地應(yīng)對(duì)數(shù)據(jù)稀缺的學(xué)習(xí)任務(wù)。本文主要內(nèi)容分為五個(gè)部分,以數(shù)據(jù)的有效學(xué)習(xí)為核心,分別從模型的自適應(yīng)學(xué)習(xí)和數(shù)據(jù)的領(lǐng)域自適應(yīng)兩個(gè)角度探討了如何在標(biāo)記訓(xùn)練數(shù)據(jù)不夠充足的情況下實(shí)現(xiàn)機(jī)器學(xué)習(xí)。其中,論文的前三個(gè)部分從模型的自適應(yīng)學(xué)習(xí)出發(fā),重點(diǎn)研究利用非參貝葉斯、黑箱優(yōu)化等技術(shù)使機(jī)器學(xué)習(xí)能夠根據(jù)訓(xùn)練數(shù)據(jù)的具體規(guī)模和復(fù)雜程度自適應(yīng)地選擇模型,避免在訓(xùn)練數(shù)據(jù)較少時(shí)因模型過于復(fù)雜導(dǎo)致過擬合現(xiàn)象發(fā)生;在標(biāo)記數(shù)據(jù)不足的情況下,除了從模型本身出發(fā)... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：123 頁

【學(xué)位級(jí)別】：博士

【部分圖文】：

–2領(lǐng)域自適應(yīng)圖例：數(shù)據(jù)出自“VisDA2017”挑戰(zhàn)賽[39]

-150 -100 -500 50 100 150 2數(shù)據(jù)上所構(gòu)建的離散隱高斯過程的連續(xù)表示空間：通過P據(jù)采用“磚紅色”顯示，測(cè)試數(shù)據(jù)中的“共和黨”樣本采中的“民主黨”樣本采用“藍(lán)色”顯示。和“剪接點(diǎn)基因序列”這兩組實(shí)驗(yàn)上，GCM-LGM分類結(jié)果，其原因可能是因?yàn)檫@兩組數(shù)據(jù)的生成過盡管如此，由于高斯過程的非參貝葉斯特性，GCM自適應(yīng)地調(diào)整模型，使其能夠適合于數(shù)據(jù)的具體特乎同等水平的分類結(jié)果。隱高斯過程所學(xué)習(xí)到的連續(xù)表示進(jìn)行了可視化，針在“共和黨”數(shù)據(jù)上構(gòu)建的離散隱高斯過程的連D 空間，很明顯可以看出，在測(cè)試數(shù)據(jù)中，“共和很好地融合到了一起，而“民主黨”樣本只是零散的四周。因此，離散隱高斯過程所學(xué)習(xí)到的連續(xù)隱

圖 5–4 實(shí)驗(yàn)數(shù)據(jù)樣例：對(duì)各組圖片來說，源域數(shù)據(jù)位于圖片的上方，目標(biāo)域數(shù)據(jù)位于圖片的下方。左上角：從“MNIST”到“USPS”；右上角：從“SVHN”到“MNIST”；左下角：從“MNIST”到“MNIST-M”；右下角：從“SYN-SIGNS”到“GTSRB”。當(dāng)作驗(yàn)證集用于選擇超參數(shù)，剩下的“USPS”圖片被用于評(píng)估算法的性能。2. USPS to MNIST：與上一組實(shí)驗(yàn)相比，本組實(shí)驗(yàn)的源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)正好相反。實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)包括 1,800 張帶有標(biāo)記的“USPS”圖片和2,000 張未標(biāo)記的“MNIST”圖片，1,000 張帶有標(biāo)記的“MNIST”圖片被用于選擇模型的超參。3. MNIST to MNIST-M：本組實(shí)驗(yàn)將“MNIST”圖片作為源域數(shù)據(jù)，目標(biāo)域數(shù)據(jù)“MNIST-M”通過對(duì)“MNIST”圖片進(jìn)行轉(zhuǎn)換后得到�！癕NIST-M”數(shù)據(jù)集的生成細(xì)節(jié)在文獻(xiàn)[76]中有詳細(xì)介紹，大致來說，“MNIST-M”是通過將“MNIST”圖片中的數(shù)字同“BSDS500”數(shù)據(jù)集中的背景圖像相混合產(chǎn)生的。由于“MNIST”圖片與“MNIST-M”圖片在背景、風(fēng)格等多方面均存在差異，本組實(shí)驗(yàn)相比以上兩組遷移任務(wù)更加具有挑戰(zhàn)性。實(shí)驗(yàn)


本文編號(hào)：3256608