近年來,由于深度學(xué)習(xí)的應(yīng)用越來越普及,我們擅長的通過大量標(biāo)簽數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)模型的方法越來越成熟。無論在圖像識別、語音識別、還是在自然語言處理方面,都取得了很大的應(yīng)用成功。但隨著互聯(lián)網(wǎng)的極速發(fā)展,多樣化數(shù)據(jù)的膨脹,我們的網(wǎng)絡(luò)模型也遇到了新的瓶頸。傳統(tǒng)的機(jī)器學(xué)習(xí)模型對樣本和應(yīng)用兩類數(shù)據(jù)集的特征分布要求滿足獨(dú)立同分布,且訓(xùn)練后的模型對新環(huán)境缺乏泛化能力,然而現(xiàn)實(shí)世界的物質(zhì)形態(tài)是多樣化的。那么,我們需要考慮如何將原有的知識模型遷移到新的領(lǐng)域中,以適應(yīng)新環(huán)境的應(yīng)用,而不是每當(dāng)進(jìn)入新的領(lǐng)域時,又從零開始學(xué)習(xí)知識。我們把這種遷移過程稱為遷移學(xué)習(xí)。因此,針對遷移學(xué)習(xí)理論具有重要的研究價值,它能幫助我們的模型迅速地適應(yīng)新領(lǐng)域,以應(yīng)對瞬息萬變的信息時代。本文首先從淺層網(wǎng)絡(luò)模型的遷移過程入手,以簡單、直觀易懂的方式表述遷移學(xué)習(xí)的具體流程,并作為對比實(shí)驗(yàn)之一,與后續(xù)深度模型的遷移學(xué)習(xí)實(shí)驗(yàn)形成對比。然后分別從特征相似性和其概率分布相似性的層面上,提出幾種度量相似性的方法,應(yīng)用于深度模型的遷移學(xué)習(xí)過程當(dāng)中。本文主要工作點(diǎn)如下:1、引入一種潛在相似性特征的篩選法。首先由已知領(lǐng)域的數(shù)據(jù)集對卷積模型及分類模型進(jìn)行分類訓(xùn)... 

【文章來源】：華南農(nóng)業(yè)大學(xué)廣東省

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【部分圖文】：

傳統(tǒng)機(jī)器學(xué)習(xí)（a）與遷移學(xué)習(xí)（b）的區(qū)別

給遷移學(xué)習(xí)帶來了清晰的思路，為相應(yīng)的應(yīng)用場景使用相應(yīng)的遷移學(xué)習(xí)方法帶來了理論依據(jù)。同時，楊強(qiáng)教授（Qiang, Yang，2017）在機(jī)器之心 GMIS 2017大會中回顧 AlphaGo 和柯潔的圍棋大戰(zhàn)時曾說過，AlphaGo 看上去像神一樣的存在，好像是無懈可擊，而我們?nèi)绻麖臋C(jī)器學(xué)習(xí)的角度來看，它還是有弱點(diǎn)的，即 AlphaGo不像人類一樣有遷移學(xué)習(xí)的能力。同樣，人工智能領(lǐng)域的另一位專家 Stanford 的教授Andrew Ng 在 NIPS 2016 tutorial 大會上表示：遷移學(xué)習(xí)將會是繼監(jiān)督學(xué)習(xí)之后的下一個機(jī)器學(xué)習(xí)成功的驅(qū)動力，并給出了未來機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展趨勢（Andrew, 2016），如圖 1-4 所示。

圖 1-5 基于公共子空間的域適應(yīng)學(xué)習(xí)圖片來源：Kan, M,Wu, J,Shan, S,Chen, X. Domain Adaptation for Face RecognitioTargetize Source Domain Bridged by Common Subspace[J].International Journal Computer Vision,2014,1-2(109):94-109.在域適應(yīng)研究方向上還有清華大學(xué) Mingsheng Long 等人（Long et al., 2016）出的基于殘差轉(zhuǎn)移網(wǎng)絡(luò)的無監(jiān)督域自適應(yīng)學(xué)習(xí)，他們也提出了基于聯(lián)合適應(yīng)的深層移學(xué)習(xí)方法（Long et al., 2017），該方法主要采用兩類領(lǐng)域的聯(lián)合概率分布情況來得相似分布，從而完成模型的遷移訓(xùn)練。CCF 會員張博等人（張博等，2015）提出種跨領(lǐng)域典型相關(guān)性分析（CCA）的遷移學(xué)習(xí)，該算法在保持領(lǐng)域間相關(guān)性的基礎(chǔ)上將各個領(lǐng)域的數(shù)據(jù)從原始高維特征空間映射到低維特征空間，在低維空間中，使CCA 來分析兩組隨機(jī)變量之間相關(guān)性。再具體到每一類遷移學(xué)習(xí)的研究文獻(xiàn)有：歸式遷移學(xué)習(xí)方面的文獻(xiàn)（Wei et al., 2014）；直推式遷移學(xué)習(xí)方面的文獻(xiàn)（Dai et a

【參考文獻(xiàn)】：
期刊論文
[1]An overview of multi-task learning[J]. Yu Zhang,Qiang Yang.  National Science Review. 2018(01)
[2]一種面向文本分類的特征遷移方法[J]. 趙世琛,王文劍.  數(shù)據(jù)采集與處理. 2017(03)
[3]一種基于跨領(lǐng)域典型相關(guān)性分析的遷移學(xué)習(xí)方法[J]. 張博,史忠植,趙曉非,張建華.  計(jì)算機(jī)學(xué)報(bào). 2015(07)
[4]遷移學(xué)習(xí)研究進(jìn)展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報(bào). 2015(01)
[5]基于多源動態(tài)TrAdaBoost的實(shí)例遷移學(xué)習(xí)方法[J]. 張倩,李海港,李明,程玉虎.  中國礦業(yè)大學(xué)學(xué)報(bào). 2014(04)
[6]Boosting算法綜述[J]. 董樂紅,耿國華,高原.  計(jì)算機(jī)應(yīng)用與軟件. 2006(08)
[7]強(qiáng)化學(xué)習(xí)研究綜述[J]. 高陽,陳世福,陸鑫.  自動化學(xué)報(bào). 2004(01)

博士論文
[1]遷移學(xué)習(xí)在文本分類中的應(yīng)用研究[D]. 孟佳娜.大連理工大學(xué) 2011



本文編號：3565415