【摘要】：AdaBoost是一種有力的集成學(xué)習(xí)方法,能將一系列低預(yù)測精度的弱學(xué)習(xí)器結(jié)合成為一個高預(yù)測精度的強(qiáng)學(xué)習(xí)器。然而,與其它集成學(xué)習(xí)方法相似,AdaBoost也需要使用大量的基學(xué)習(xí)器來產(chǎn)生最終的預(yù)測結(jié)果,因此當(dāng)數(shù)據(jù)維度較高或集成規(guī)模較大時,構(gòu)建AdaBoost集成模型對計算機(jī)的內(nèi)存空間產(chǎn)生了挑戰(zhàn)�；貧w模型中的特征選擇方法能夠顯著地降低數(shù)據(jù)維度,并且在集成學(xué)習(xí)中也已證明了其有效性。通過對集成模型進(jìn)行剪枝,我們能夠產(chǎn)生一個規(guī)模更小,精度卻更高的集成模型。在本文中,我們提出使用最小最大凹度懲罰函數(shù)(MCP)對AdaBoost模型進(jìn)行集成剪枝,在簡化集成模型的同時改進(jìn)預(yù)測精度。本文首先使用MCP懲罰的邏輯回歸對高維數(shù)據(jù)進(jìn)行變量篩選處理,再使用AdaBoost集成方法進(jìn)行建模,并以實(shí)驗(yàn)說明對高維數(shù)據(jù)使用MCP進(jìn)行變量篩選不僅不會損害后續(xù)AdaBoost模型的性能,反而能提高其預(yù)測精度;在建立AdaBoost集成模型后,取其基學(xué)習(xí)器的預(yù)測結(jié)果作為邏輯回歸中的預(yù)測矩陣,從而使用帶有MCP懲罰項(xiàng)的邏輯回歸對集成模型進(jìn)行剪枝,MCP的剪枝效果將與LASSO與SCAD懲罰函數(shù)的效果作比較。在真實(shí)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,在有噪聲數(shù)據(jù)集中,使用MCP函數(shù)進(jìn)行集成剪枝得到良好的效果:在本文涉及到的所有六個有噪聲數(shù)據(jù)集中,使用MCP剪枝后的模型均比原模型有更高的預(yù)測精度,同時其平均集成規(guī)模大幅降低至原模型的5%至20%,其總體效果也優(yōu)于使用另外兩個懲罰函數(shù)剪枝的模型。通過實(shí)驗(yàn),本文得出以下結(jié)論:在使用AdaBoost進(jìn)行高維數(shù)據(jù)的分類預(yù)測時,使用帶MCP懲罰項(xiàng)的邏輯回歸模型能夠在縮小集成規(guī)模的同時提高模型表現(xiàn)。
【圖文】：

決策樹對特征空間的劃分

三個懲罰函數(shù)
【學(xué)位授予單位】：江西財經(jīng)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP181;O212.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 蔣焰;丁曉青;;基于多步校正的改進(jìn)AdaBoost算法[J];清華大學(xué)學(xué)報(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2008年10期

2 李軍;閆佳佳;;基于KELM-AdaBoost方法的短期風(fēng)電功率預(yù)測（英文）[J];控制工程;2019年03期

3 王倫;;Adaboost-SVM多因子選股模型[J];經(jīng)濟(jì)研究導(dǎo)刊;2019年10期

4 葉曉波;秦海菲;呂永林;;一種改進(jìn)的Adaboost-BP算法在手寫數(shù)字識別中的研究[J];大理大學(xué)學(xué)報;2019年06期

5 嚴(yán)智;張鵬;謝川;張鈺林;李保軍;;一種快速AdaBoost.RT集成算法時間序列預(yù)測研究[J];電子測量與儀器學(xué)報;2019年06期

6 李聞;王顯博;;基于Adaboost算法的人臉檢測的研究[J];中外企業(yè)家;2019年26期

7 李偉;嚴(yán)珂;陸慧娟;葉敏超;;基于Adaboost.RT算法的隧道沉降時間序列預(yù)測研究[J];中國計量大學(xué)學(xué)報;2019年03期

8 王玲娣;徐華;;AdaBoost的多樣性分析及改進(jìn)[J];計算機(jī)應(yīng)用;2018年03期

9 杜瑞超;華繼學(xué);翟夕陽;李志鵬;;基于改進(jìn)Real AdaBoost算法的軟件可靠性預(yù)測[J];空軍工程大學(xué)學(xué)報(自然科學(xué)版);2018年01期

10 王玲娣;徐華;;一種基于聚類和AdaBoost的自適應(yīng)集成算法[J];吉林大學(xué)學(xué)報(理學(xué)版);2018年04期

相關(guān)會議論文 前10條

1 蔡念;金豐;阮恭勤;潘晴;許少秋;;基于AdaBoost算法的圖像復(fù)原方法[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2010年

2 ;Using Skin Color and HAD-AdaBoost Algorithm for Face Detection in Color Images[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

3 Wen Feng;;A Novel Lips Detection Method Combined Adaboost Algorithm and Camshift Algorithm[A];2012年計算機(jī)應(yīng)用與系統(tǒng)建模國際會議論文集[C];2012年

4 陸文聰;鈕冰;金雨歡;;基于AdaBoost算法的亞細(xì)胞位置預(yù)測[A];中國化學(xué)會第26屆學(xué)術(shù)年會化學(xué)信息學(xué)與化學(xué)計量學(xué)分會場論文集[C];2008年

5 陳宏偉;劉建偉;費(fèi)向東;;一種半監(jiān)督環(huán)境下的Adaboost算法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

6 唐曉丹;苗振江;;基于AdaBoost和粒子濾波的目標(biāo)跟蹤[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2008年

7 于淼;李乃民;王寬全;賈丹兵;閆子飛;;基于AdaBoost的中醫(yī)舌診分類算法研究[A];第二次全國中西醫(yī)結(jié)合診斷學(xué)術(shù)研討會論文集[C];2008年

8 李晶;陳媛媛;;基于AdaBoost的車牌字符識別模型研究[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅰ）[C];2008年

9 張超;苗振江;;基于AdaBoost的面部信息感知[A];第十三屆全國信號處理學(xué)術(shù)年會（CCSP-2007）論文集[C];2007年

10 郭翌;汪源源;;基于Adaboost算法的頸動脈粥樣硬化判別方法[A];中國儀器儀表學(xué)會第十一屆青年學(xué)術(shù)會議論文集[C];2009年

相關(guān)重要報紙文章 前1條

1 張陽;5G時代，，AI能走多遠(yuǎn)？[N];人民郵電;2019年

相關(guān)博士學(xué)位論文 前10條

1 劉沖;模擬電路故障診斷AdaBoost集成學(xué)習(xí)方法研究[D];大連海事大學(xué);2011年

2 Ebenezer Owusu;[D];江蘇大學(xué);2014年

3 習(xí)文星;移動背景下視覺的行人檢測、識別與跟蹤技術(shù)研究[D];中國科學(xué)院研究生院(上海技術(shù)物理研究所);2015年

4 盧金娜;基于優(yōu)化算法的徑向基神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)及應(yīng)用[D];中北大學(xué);2015年

5 盧巖;交通監(jiān)控中的運(yùn)動人體目標(biāo)檢測與跟蹤[D];中國科學(xué)院研究生院（長春光學(xué)精密機(jī)械與物理研究所）;2011年

6 王小明;可變光照下人臉檢測與識別研究[D];華東師范大學(xué);2010年

7 孫元;多媒體語義檢索關(guān)鍵問題研究[D];吉林大學(xué);2010年

8 王穎;成熟microRNA識別及其功能預(yù)測方法研究[D];哈爾濱工程大學(xué);2016年

9 吳暾華;面向中醫(yī)面診診斷信息提取的若干關(guān)鍵技術(shù)研究[D];廈門大學(xué);2008年

10 高常鑫;基于上下文的目標(biāo)檢測與識別方法研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王珊珊;基于AdaBoost和ELM的語音情感識別研究[D];天津師范大學(xué);2019年

2 鄭偉華;基于MCP懲罰的AdaBoost集成剪枝技術(shù)的研究[D];江西財經(jīng)大學(xué);2019年

3 王成龍;基于AdaBoost算法的車載CAN總線報文異常檢測[D];湖南師范大學(xué);2019年

4 王強(qiáng);基于AdaBoost回歸樹的電網(wǎng)基建投資模型研究[D];電子科技大學(xué);2019年

5 趙云紅;基于Adaboost改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)地表沉陷預(yù)測研究[D];西安科技大學(xué);2019年

6 陳天昕;基于AdaBoost與SVM集成算法的高爐爐溫狀態(tài)解析[D];江西財經(jīng)大學(xué);2019年

7 李淑;人眼特征檢測的疲勞駕駛算法研究[D];長江大學(xué);2019年

8 周靖;基于機(jī)器學(xué)習(xí)的《紅樓夢》作者問題研究[D];云南大學(xué);2018年

9 劉樹燦;基于BP_Adaboost算法的軌面狀態(tài)識別研究[D];湖南工業(yè)大學(xué);2019年

10 鄧頎;人臉檢測技術(shù)的研究與實(shí)現(xiàn)[D];杭州電子科技大學(xué);2016年

本文編號：2642811