本文選題：遷移學(xué)習(xí)文本分類 + 選擇性集成　； 參考：《南京航空航天大學(xué)》2017年碩士論文

【摘要】：傳統(tǒng)的機(jī)器學(xué)習(xí)是基于統(tǒng)計(jì)學(xué)的機(jī)器學(xué)習(xí),其中一個(gè)基本的假設(shè)條件就是訓(xùn)練和測試數(shù)據(jù)來自相同的特征空間并且具有相同的概率分布。然而,在很多實(shí)際應(yīng)用中,這種假設(shè)往往并不成立,導(dǎo)致傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)對這種問題的解決失去了效力。近年來,遷移學(xué)習(xí)(transfer learning)作為一種新的學(xué)習(xí)典范被用于處理這種挑戰(zhàn)。遷移學(xué)習(xí)最大的特點(diǎn)就是利用從舊的源領(lǐng)域?qū)W習(xí)到的知識幫助一個(gè)新的目標(biāo)領(lǐng)域完成學(xué)習(xí)任務(wù),使得傳統(tǒng)的從零開始的學(xué)習(xí)變?yōu)榭梢苑e累的學(xué)習(xí)。目前學(xué)者們已經(jīng)提出很多方法用于解決遷移學(xué)習(xí)文本分類問題,比如利用支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等等。盡管研究表明這些方法取得了比較好的分類性能,但是單一模型用于解決遷移學(xué)習(xí)問題存在著一定的局限性,因此有學(xué)者提出使用集成學(xué)習(xí)解決該問題。然而,集成學(xué)習(xí)需要多個(gè)基模型,這就增加了時(shí)間和空間復(fù)雜性,同時(shí)泛化能力差的基模型也會(huì)影響最終的分類效果。在原始集成系統(tǒng)中選擇一個(gè)子集用于構(gòu)建集成系統(tǒng)可以很好的解決這個(gè)問題,該方法被稱為集成剪枝,也可以稱為選擇性集成(selective ensemble)。選擇性集成技術(shù)可以有效解決集成學(xué)習(xí)中存在的高計(jì)算復(fù)雜度的缺點(diǎn)。本文提出了一種新穎的基于知識杠桿的RankRE-TL算法用于解決遷移學(xué)習(xí)文本分類問題。該算法將基于知識杠桿的遷移學(xué)習(xí)機(jī)制同基于減小錯(cuò)誤的排序準(zhǔn)則RankRE(Rank-based Reduce Error evaluation measure)結(jié)合完成遷移任務(wù)。RankRE準(zhǔn)則的設(shè)計(jì)原理是選擇一個(gè)候選分類器,使得其并入到當(dāng)前子集成系統(tǒng)后形成新的子集成系統(tǒng)的泛化誤差最小。RankRE-TL算法針對源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域已標(biāo)注數(shù)據(jù)分布存在一定相似性,但兩域之間已標(biāo)注數(shù)據(jù)數(shù)量嚴(yán)重失衡的問題,提出了一種動(dòng)態(tài)數(shù)據(jù)重組的方法來解決該問題。通過將大量源數(shù)據(jù)利用Bootstrap技術(shù)按不同比例選取多個(gè)訓(xùn)練子集分別與少量的目標(biāo)域訓(xùn)練數(shù)據(jù)結(jié)合得到多個(gè)重構(gòu)的訓(xùn)練集,然后分別訓(xùn)練分類器得到原始集成系統(tǒng)。另外,與傳統(tǒng)的選擇性集成技術(shù)構(gòu)建驗(yàn)證集的方式不同,RankRE-TL設(shè)計(jì)了一種新的方法來構(gòu)造剪枝集。然而基于RankRE評估準(zhǔn)則的選擇性集成算法是一種貪婪的算法,容易限于局部最優(yōu)解。為解決該問題,同時(shí)為了更有效地遷移源域知識,本文提出了一種融合TrSVM與選擇性集成方法GASEN的遷移算法TrGASVM。其中,TrSVM首先在基于動(dòng)態(tài)數(shù)據(jù)集重組的基礎(chǔ)上訓(xùn)練多個(gè)源域模型,得到多個(gè)支持向量集(SV)。對每個(gè)SV集,按照其與目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)的相似度分配權(quán)重,并和目標(biāo)域訓(xùn)練數(shù)據(jù)組合得到新的訓(xùn)練集,最后在各訓(xùn)練集上分別訓(xùn)練模型得到遷移SVM集成系統(tǒng)。GASEN算法是基于組合優(yōu)化的啟發(fā)式算法,利用遺傳算法實(shí)現(xiàn)對集成中模型的選擇,不僅具有遺傳算法的優(yōu)點(diǎn),也可以避免貪婪集成剪枝所具有的局部最優(yōu)問題。TrGASVM融合TrSVM和GASEN用于遷移學(xué)習(xí),這樣不僅具有TrSVM算法的優(yōu)點(diǎn),也結(jié)合了GASEN的優(yōu)勢,因此能夠更有效的對源域知識進(jìn)行遷移。
[Abstract]:Traditional machine learning is based on statistical machine learning , one of the basic assumptions is that training and test data come from the same feature space and have the same probability distribution . However , in many practical applications , this assumption is often not established , which results in the traditional machine learning technology being used to solve the problem . This paper proposes a new method to solve the problem .

【學(xué)位授予單位】：南京航空航天大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張春霞;張講社;;選擇性集成學(xué)習(xí)算法綜述[J];計(jì)算機(jī)學(xué)報(bào);2011年08期

相關(guān)碩士學(xué)位論文 前1條

1 王軼初;基于集成學(xué)習(xí)的半監(jiān)督學(xué)習(xí)算法研究[D];西安電子科技大學(xué);2011年

，

本文編號：1890978