本文關(guān)鍵詞：基于特征遷移與模型遷移的分類器設(shè)計　出處：《中國礦業(yè)大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 特征遷移 模型遷移 遷移學(xué)習(xí) 分類器 領(lǐng)域 分布差異

【摘要】：互聯(lián)網(wǎng)時代,信息自動分類技術(shù)已經(jīng)成為人類獲取有價值信息的重要工具,也是機器學(xué)習(xí)、模型識別和數(shù)據(jù)挖掘等領(lǐng)域研究的核心。如何采用機器學(xué)習(xí)方法構(gòu)建高性能分類器,已成為人工智能領(lǐng)域廣泛研究的問題。然而,隨著問題的深入研究以及應(yīng)用領(lǐng)域的拓展,傳統(tǒng)機器學(xué)習(xí)方法逐漸暴露出許多不足。其中,對其影響最大的是:它要求訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集的樣本概率分布相一致,這一要求在現(xiàn)實應(yīng)用中通常難以滿足。遷移學(xué)習(xí)的出現(xiàn)克服了這一不足,它借助一個或者多個與當(dāng)前任務(wù)領(lǐng)域(目標(biāo)領(lǐng)域)存在分布差異但又有一些內(nèi)部聯(lián)系的相關(guān)領(lǐng)域(源領(lǐng)域)知識,來幫助目標(biāo)領(lǐng)域分類器進(jìn)行學(xué)習(xí),實現(xiàn)領(lǐng)域間的知識轉(zhuǎn)移,成為了新的研究框架。遷移學(xué)習(xí)豐富了機器學(xué)習(xí)理論,拓展了其應(yīng)用范圍,逐漸成為一個新的研究方向。本文以設(shè)計高性能分類器為目的,以遷移學(xué)習(xí)為研究對象,從構(gòu)建特征遷移分類器與模型遷移分類器兩個角度出發(fā),通過對領(lǐng)域間分布差異度量、半監(jiān)督遷移、柔性投影約束、神經(jīng)網(wǎng)絡(luò)模型遷移以及知識遷移與分類器統(tǒng)一優(yōu)化等問題進(jìn)行研究與探索,提出了7種基于遷移學(xué)習(xí)的分類器。主要研究內(nèi)容如下:1.基于領(lǐng)域間分布差異度量的特征遷移分類器。首先,針對傳統(tǒng)領(lǐng)域間分布差異度量方法忽略單個樣本對全局度量貢獻(xiàn)差異性而影響特征遷移算法性能的問題,提出兩種算法:基于最大分布加權(quán)均值差異的聯(lián)合分布調(diào)整與基于樣本局部判別權(quán)重的加權(quán)遷移成分分析。它們分別采用白化余弦相似性度量與局部近鄰圓為源領(lǐng)域和目標(biāo)領(lǐng)域所有樣本設(shè)計相應(yīng)的權(quán)重,將此權(quán)重引入最大均值差異度量中,體現(xiàn)樣本個體在度量中的差異性。在此基礎(chǔ)上,結(jié)合聯(lián)合分布調(diào)整,來縮小領(lǐng)域間的邊緣分布差異與條件分布差異,實現(xiàn)知識的跨領(lǐng)遷移。此外,基于樣本局部判別權(quán)重的加權(quán)遷移成分分析算法還將線性判別分析引入目標(biāo)函數(shù),在實現(xiàn)知識遷移的同時,提高算法的類別可分性;其次,針對傳統(tǒng)領(lǐng)域間分布差異度量方法存在內(nèi)存消耗大,無法體現(xiàn)樣本間差異性等不足,提出跨領(lǐng)域均值逼近差異度量方法,它通過測量源領(lǐng)域與目標(biāo)領(lǐng)域樣本到對方領(lǐng)域樣本均值點的距離平方總和,來度量領(lǐng)域間的分布差異。在此基礎(chǔ)上,結(jié)合子空間學(xué)習(xí),提出特征遷移算法:跨領(lǐng)域均值聯(lián)合逼近嵌入。它以跨領(lǐng)域均值逼近差異度量作為目標(biāo)函數(shù),通過標(biāo)簽迭代精化機制,實現(xiàn)領(lǐng)域間邊緣分布差異和條件分布差異的共同調(diào)整,完成知識的跨領(lǐng)域遷移。最后,將上述特征遷移算法與基準(zhǔn)分類器相結(jié)合用于分類實驗,驗證所提算法的有效性和優(yōu)越性。2.基于半監(jiān)督與柔性投影約束的特征遷移分類器。首先,針對傳統(tǒng)特征遷移算法對樣本原始結(jié)構(gòu)信息與標(biāo)簽信息利用不足的問題,提出算法:基于跨領(lǐng)域均值約束的半監(jiān)督遷移判別分析。它將半監(jiān)督判別分析與聯(lián)合分布調(diào)整相結(jié)合,并引入跨領(lǐng)域均值約束機制,在實現(xiàn)知識遷移的同時,充分利用樣本的原始結(jié)構(gòu)信息與標(biāo)簽信息,提高算法的分類性能;其次,針對傳統(tǒng)特征遷移算法在特征子空間轉(zhuǎn)換過程中投影過于剛性且對領(lǐng)域間自身幾何結(jié)構(gòu)和標(biāo)簽信息利用不充分的問題,提出算法:半監(jiān)督柔性聯(lián)合分布調(diào)整。它將柔性投影約束引入聯(lián)合分布調(diào)整中,改善共享特征子空間性能;同時結(jié)合流形對齊與線性判別分析,在知識遷移過程中充分利用數(shù)據(jù)的原始結(jié)構(gòu)信息和標(biāo)簽信息,來提高算法的分類精度。最后,將上述特征遷移算法與k近鄰分類器相結(jié)合用于分類實驗,驗證算法的有效性和優(yōu)越性。3.基于極限學(xué)習(xí)機與Softmax回歸的模型遷移分類器。作為一種單層前饋神經(jīng)網(wǎng)絡(luò),極限學(xué)習(xí)機(ELM)在模式識別與機器學(xué)習(xí)領(lǐng)域已經(jīng)被證明是一種高效的學(xué)習(xí)機制。然而,在標(biāo)記訓(xùn)練樣本數(shù)量較少的情況下,極限學(xué)習(xí)機的性能會下降。為此,設(shè)計一種具有知識遷移能力的極限學(xué)習(xí)機:基于輸出權(quán)重對齊的遷移極限學(xué)習(xí)機,它通過分別對齊源領(lǐng)域與目標(biāo)領(lǐng)域間的ELM輸出權(quán)重矩陣,來縮小領(lǐng)域間的分布差異;同時,在目標(biāo)函數(shù)中加入領(lǐng)域間ELM輸出權(quán)重矩陣的逼近項,實現(xiàn)知識的跨領(lǐng)域遷移;最后,將目標(biāo)函數(shù)轉(zhuǎn)化為最小二乘問題進(jìn)行求解,并執(zhí)行分類任務(wù);為實現(xiàn)知識遷移過程與分類器訓(xùn)練過程的統(tǒng)一優(yōu)化,設(shè)計一種具有知識遷移能力的分類器:遷移Softmax回歸。它通過將聯(lián)合分布調(diào)整機制引入Softmax回歸目標(biāo)函數(shù)中,構(gòu)建具有知識遷移能力的分類器;然后采用梯度下降法對新的目標(biāo)函數(shù)進(jìn)行求解,實現(xiàn)分類模型參數(shù)與知識遷移過程的統(tǒng)一優(yōu)化;最后,通過分類實驗驗證上述分類器的有效性和優(yōu)越性。
[Abstract]:In this paper , we study and explore a new research frame based on the difference between the weighted mean value of the maximum distribution and the sample probability distribution of the data set . This paper proposes an algorithm based on semi - supervised flexible joint distribution , which combines semi - supervised discriminant analysis with a k - neighbor classifier to improve the classification accuracy of the algorithm .

【學(xué)位授予單位】：中國礦業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郭紅玲;程顯毅;;多分類器選擇集成方法[J];計算機工程與應(yīng)用;2009年13期

2 呂岳,施鵬飛,趙宇明;多分類器組合的投票表決規(guī)則[J];上海交通大學(xué)學(xué)報;2000年05期

3 韓宏;楊靜宇;;多分類器組合及其應(yīng)用[J];計算機科學(xué);2000年01期

4 陳剛,戚飛虎;多分類器結(jié)合的人臉識別[J];上海交通大學(xué)學(xué)報;2001年02期

5 韓宏,楊靜宇,婁震;基于層次的分類器組合[J];南京理工大學(xué)學(xué)報(自然科學(xué)版);2002年01期

6 趙誼虹,程國華,史習(xí)智;多分類器融合中一種新的加權(quán)算法[J];上海交通大學(xué)學(xué)報;2002年06期

7 王正群,葉暉,孫興華,楊靜宇;模糊多分類器組合[J];小型微型計算機系統(tǒng);2003年01期

8 楊利英,覃征,王向華;多分類器融合實現(xiàn)機型識別[J];計算機工程與應(yīng)用;2004年15期

9 楊利英,覃征,王衛(wèi)紅;多分類器融合系統(tǒng)設(shè)計與應(yīng)用[J];計算機工程;2005年05期

10 陳湘;;1-范數(shù)軟間隔分類器的風(fēng)險[J];湖北大學(xué)學(xué)報(自然科學(xué)版);2006年02期

相關(guān)會議論文 前10條

1 王占一;徐蔚然;劉東鑫;郭軍;;一種基于兩級分類器的垃圾短信過濾方法[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

2 翟靜;李海宏;唐常杰;陳敏敏;李智;;可驗證對象集分類器的再訓(xùn)練演進(jìn)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2002年

3 陳繼航;劉家鋒;趙巍;唐降龍;;聯(lián)機手寫識別筆段特征分類器的學(xué)習(xí)方法[A];黑龍江省計算機學(xué)會2009年學(xué)術(shù)交流年會論文集[C];2010年

4 穆明生;;基于特征集的多種分類器模型的在線筆跡認(rèn)證[A];第十屆全國信號處理學(xué)術(shù)年會（CCSP-2001）論文集[C];2001年

5 彭濤;左萬利;赫楓齡;;基于鏈接上下文的分類器主題爬行技術(shù)(英文)[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

6 王嵐;陳珂;遲惠生;;基于多特征組合多分類器的方法用于“與文本無關(guān)”的說話人辨認(rèn)[A];第四屆全國人機語音通訊學(xué)術(shù)會議論文集[C];1996年

7 謝秋玲;;應(yīng)用于心電圖分類的KNN-SVM分類器研究[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

8 胡瓊;汪榮貴;胡韋偉;孫見青;;基于級聯(lián)分類器的快速人臉檢測方法[A];計算機技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

9 李蘭春;王雙成;杜瑞杰;;認(rèn)知結(jié)構(gòu)評估的動態(tài)貝葉斯網(wǎng)絡(luò)分類器方法[A];2011年中國智能自動化學(xué)術(shù)會議論文集（第一分冊）[C];2011年

10 邵小健;段華;賀國平;;一種改進(jìn)的最少核分類器[A];中國運籌學(xué)會第七屆學(xué)術(shù)交流會論文集（上卷）[C];2004年

相關(guān)重要報紙文章 前10條

1 王素琴邋劉曉林 通訊員 王新華;宇如聰強調(diào)用好16個新數(shù)據(jù)集產(chǎn)品[N];中國氣象報;2008年

2 記者 劉浪 通訊員 廖雅琴;中國首套數(shù)字化“可視人”數(shù)據(jù)集在渝通過成果鑒定[N];重慶日報;2003年

3 通訊員廖雅琴記者馮競;“國人數(shù)字化可視人體數(shù)據(jù)集”完成[N];科技日報;2003年

4 金水高 劉麗華 陶莊;基本數(shù)據(jù)集標(biāo)準(zhǔn)新進(jìn)展[N];計算機世界;2006年

5 上海 陳純;初識T-SQL，，戀情的開始[N];電腦報;2004年

6 黃明;精子分類器決定生男生女[N];廣東科技報;2000年

7 昌家杰 鄒瑩 本報記者 于莘明;探究“數(shù)字人”的虛與實[N];科技日報;2005年

8 山水;艾斯本與NIST集合數(shù)據(jù)集[N];中國石化報;2007年

9 張紹祥 李國輝;研究領(lǐng)域：以人為本[N];計算機世界;2003年

10 張荔子 秦篤烈;“數(shù)字人”走向應(yīng)用[N];健康報;2006年

相關(guān)博士學(xué)位論文 前10條

1 臧紹飛;基于特征遷移與模型遷移的分類器設(shè)計[D];中國礦業(yè)大學(xué);2017年

2 張非;對抗逃避攻擊的防守策略研究[D];華南理工大學(xué);2015年

3 張文博;多類別智能分類器方法研究[D];西安電子科技大學(xué);2014年

4 許勁松;智能交通中目標(biāo)檢測與分類關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2014年

5 趙作林;基于圖像分析的北京地區(qū)楊樹種類識別研究[D];北京林業(yè)大學(xué);2015年

6 任亞峰;基于標(biāo)注和未標(biāo)注數(shù)椐的虛假評論識別研究[D];武漢大學(xué);2015年

7 曹鵬;不均衡數(shù)據(jù)分類方法的研究[D];東北大學(xué);2014年

8 劉明;分類器組合技術(shù)研究及其在人機交互系統(tǒng)中的應(yīng)用[D];北京交通大學(xué);2008年

9 嚴(yán)志永;在劃分?jǐn)?shù)據(jù)空間的視角下基于決策邊界的分類器研究[D];浙江大學(xué);2011年

10 王U

本文編號：1396119