【摘要】：AdaBoost是一種有力的集成學習方法,能將一系列低預測精度的弱學習器結(jié)合成為一個高預測精度的強學習器。然而,與其它集成學習方法相似,AdaBoost也需要使用大量的基學習器來產(chǎn)生最終的預測結(jié)果,因此當數(shù)據(jù)維度較高或集成規(guī)模較大時,構(gòu)建AdaBoost集成模型對計算機的內(nèi)存空間產(chǎn)生了挑戰(zhàn)�；貧w模型中的特征選擇方法能夠顯著地降低數(shù)據(jù)維度,并且在集成學習中也已證明了其有效性。通過對集成模型進行剪枝,我們能夠產(chǎn)生一個規(guī)模更小,精度卻更高的集成模型。在本文中,我們提出使用最小最大凹度懲罰函數(shù)(MCP)對AdaBoost模型進行集成剪枝,在簡化集成模型的同時改進預測精度。本文首先使用MCP懲罰的邏輯回歸對高維數(shù)據(jù)進行變量篩選處理,再使用AdaBoost集成方法進行建模,并以實驗說明對高維數(shù)據(jù)使用MCP進行變量篩選不僅不會損害后續(xù)AdaBoost模型的性能,反而能提高其預測精度;在建立AdaBoost集成模型后,取其基學習器的預測結(jié)果作為邏輯回歸中的預測矩陣,從而使用帶有MCP懲罰項的邏輯回歸對集成模型進行剪枝,MCP的剪枝效果將與LASSO與SCAD懲罰函數(shù)的效果作比較。在真實數(shù)據(jù)集上進行的實驗結(jié)果表明,在有噪聲數(shù)據(jù)集中,使用MCP函數(shù)進行集成剪枝得到良好的效果:在本文涉及到的所有六個有噪聲數(shù)據(jù)集中,使用MCP剪枝后的模型均比原模型有更高的預測精度,同時其平均集成規(guī)模大幅降低至原模型的5%至20%,其總體效果也優(yōu)于使用另外兩個懲罰函數(shù)剪枝的模型。通過實驗,本文得出以下結(jié)論:在使用AdaBoost進行高維數(shù)據(jù)的分類預測時,使用帶MCP懲罰項的邏輯回歸模型能夠在縮小集成規(guī)模的同時提高模型表現(xiàn)。
【圖文】：

決策樹對特征空間的劃分

三個懲罰函數(shù)
【學位授予單位】：江西財經(jīng)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP181;O212.1

【相似文獻】

相關(guān)期刊論文 前10條

1 蔣焰;丁曉青;;基于多步校正的改進AdaBoost算法[J];清華大學學報(自然科學版)網(wǎng)絡.預覽;2008年10期

2 李軍;閆佳佳;;基于KELM-AdaBoost方法的短期風電功率預測（英文）[J];控制工程;2019年03期

3 王倫;;Adaboost-SVM多因子選股模型[J];經(jīng)濟研究導刊;2019年10期

4 葉曉波;秦海菲;呂永林;;一種改進的Adaboost-BP算法在手寫數(shù)字識別中的研究[J];大理大學學報;2019年06期

5 嚴智;張鵬;謝川;張鈺林;李保軍;;一種快速AdaBoost.RT集成算法時間序列預測研究[J];電子測量與儀器學報;2019年06期

6 李聞;王顯博;;基于Adaboost算法的人臉檢測的研究[J];中外企業(yè)家;2019年26期

7 李偉;嚴珂;陸慧娟;葉敏超;;基于Adaboost.RT算法的隧道沉降時間序列預測研究[J];中國計量大學學報;2019年03期

8 王玲娣;徐華;;AdaBoost的多樣性分析及改進[J];計算機應用;2018年03期

9 杜瑞超;華繼學;翟夕陽;李志鵬;;基于改進Real AdaBoost算法的軟件可靠性預測[J];空軍工程大學學報(自然科學版);2018年01期

10 王玲娣;徐華;;一種基于聚類和AdaBoost的自適應集成算法[J];吉林大學學報(理學版);2018年04期

相關(guān)會議論文 前10條

1 蔡念;金豐;阮恭勤;潘晴;許少秋;;基于AdaBoost算法的圖像復原方法[A];第十五屆全國圖象圖形學學術(shù)會議論文集[C];2010年

2 ;Using Skin Color and HAD-AdaBoost Algorithm for Face Detection in Color Images[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

3 Wen Feng;;A Novel Lips Detection Method Combined Adaboost Algorithm and Camshift Algorithm[A];2012年計算機應用與系統(tǒng)建模國際會議論文集[C];2012年

4 陸文聰;鈕冰;金雨歡;;基于AdaBoost算法的亞細胞位置預測[A];中國化學會第26屆學術(shù)年會化學信息學與化學計量學分會場論文集[C];2008年

5 陳宏偉;劉建偉;費向東;;一種半監(jiān)督環(huán)境下的Adaboost算法[A];2008'中國信息技術(shù)與應用學術(shù)論壇論文集（二）[C];2008年

6 唐曉丹;苗振江;;基于AdaBoost和粒子濾波的目標跟蹤[A];第十四屆全國圖象圖形學學術(shù)會議論文集[C];2008年

7 于淼;李乃民;王寬全;賈丹兵;閆子飛;;基于AdaBoost的中醫(yī)舌診分類算法研究[A];第二次全國中西醫(yī)結(jié)合診斷學術(shù)研討會論文集[C];2008年

8 李晶;陳媛媛;;基于AdaBoost的車牌字符識別模型研究[A];2008中國儀器儀表與測控技術(shù)進展大會論文集（Ⅰ）[C];2008年

9 張超;苗振江;;基于AdaBoost的面部信息感知[A];第十三屆全國信號處理學術(shù)年會（CCSP-2007）論文集[C];2007年

10 郭翌;汪源源;;基于Adaboost算法的頸動脈粥樣硬化判別方法[A];中國儀器儀表學會第十一屆青年學術(shù)會議論文集[C];2009年

相關(guān)重要報紙文章 前1條

1 張陽;5G時代，，AI能走多遠？[N];人民郵電;2019年

相關(guān)博士學位論文 前10條

1 劉沖;模擬電路故障診斷AdaBoost集成學習方法研究[D];大連海事大學;2011年

2 Ebenezer Owusu;[D];江蘇大學;2014年

3 習文星;移動背景下視覺的行人檢測、識別與跟蹤技術(shù)研究[D];中國科學院研究生院(上海技術(shù)物理研究所);2015年

4 盧金娜;基于優(yōu)化算法的徑向基神經(jīng)網(wǎng)絡模型的改進及應用[D];中北大學;2015年

5 盧巖;交通監(jiān)控中的運動人體目標檢測與跟蹤[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2011年

6 王小明;可變光照下人臉檢測與識別研究[D];華東師范大學;2010年

7 孫元;多媒體語義檢索關(guān)鍵問題研究[D];吉林大學;2010年

8 王穎;成熟microRNA識別及其功能預測方法研究[D];哈爾濱工程大學;2016年

9 吳暾華;面向中醫(yī)面診診斷信息提取的若干關(guān)鍵技術(shù)研究[D];廈門大學;2008年

10 高常鑫;基于上下文的目標檢測與識別方法研究[D];華中科技大學;2010年

相關(guān)碩士學位論文 前10條

1 王珊珊;基于AdaBoost和ELM的語音情感識別研究[D];天津師范大學;2019年

2 鄭偉華;基于MCP懲罰的AdaBoost集成剪枝技術(shù)的研究[D];江西財經(jīng)大學;2019年

3 王成龍;基于AdaBoost算法的車載CAN總線報文異常檢測[D];湖南師范大學;2019年

4 王強;基于AdaBoost回歸樹的電網(wǎng)基建投資模型研究[D];電子科技大學;2019年

5 趙云紅;基于Adaboost改進的BP神經(jīng)網(wǎng)絡地表沉陷預測研究[D];西安科技大學;2019年

6 陳天昕;基于AdaBoost與SVM集成算法的高爐爐溫狀態(tài)解析[D];江西財經(jīng)大學;2019年

7 李淑;人眼特征檢測的疲勞駕駛算法研究[D];長江大學;2019年

8 周靖;基于機器學習的《紅樓夢》作者問題研究[D];云南大學;2018年

9 劉樹燦;基于BP_Adaboost算法的軌面狀態(tài)識別研究[D];湖南工業(yè)大學;2019年

10 鄧頎;人臉檢測技術(shù)的研究與實現(xiàn)[D];杭州電子科技大學;2016年

本文編號：2642811