集成學習是一類著名的機器學習方法,通過構建并結合多個學習器來完成學習任務,�？色@得比單一學習器顯著優(yōu)越的泛化性能,在諸多實際應用中取得了成功。學習器之間的多樣性是構建集成學習模型的一個關鍵因素。如何理解和度量多樣性是集成學習中非常基礎但尚未解決的問題。本文對集成學習中多樣性進行了研究,主要取得了以下創(chuàng)新成果:1)提出了結構多樣性概念,為集成學習多樣性研究提供了一個新方向。以往的多樣性度量僅考慮分類器預測行為的差異,而忽視了分類器本身結構之間的差異。本文針對決策樹提出了一種結構多樣性度量,并通過實驗驗證了其效用。2)提出了一種嵌入結構多樣性的新型選擇性集成學習算法DRSE（Di-versity Regularized Selective Ensemble）。該算法的基本思想是同時考慮集成誤差、行為多樣性和結構多樣性,使用DCA算法求解。實驗結果表明,該算法的性能顯著優(yōu)于現(xiàn)有選擇性集成算法。3)提出了一種基于聯(lián)結樹的多元信息多樣性（multi-information diversity）估計方法。多元信息多樣性基于信息論來刻畫集成多樣性,其面臨的困難是高階信息通常難以估計。本文方法通過聯(lián)結... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：71 頁

【學位級別】：碩士

【部分圖文】：

圖２．１：判斷西瓜是好瓜還是壞瓜問題的一棵決策樹

Ｅ５６ｌ?？）??①，ＣＳ＞?Ｉ?ｂｎ＜５?］?Ｃｍ）?念）??Ｐａｉｒｗｉｓｅ?ＴＭＤ?、、ＣＨ）?（＾）?Ｃｍ）??ＺａＲＴＫＭＫ：［］網(wǎng)??丄丄丄丄?Ｉ??ｒ：?１?０?３?４?１０?［ｃｓ＾＼?Ｉ?ＣＴ＜４?１?＾?Ｉｎｓｅｒｔｉｏｎ???，＾＜７￣、?／ｖ????Ｄｅｌｅｔｉｏｎ??７＾?４?３?０?Ｉ?９???Ｒｅｌａｂｅｌ???（Ｔ）?ＣＭ）?ＢＮ＜５?（ｍ）??Ａ?土丄丄丄丄??ｒ，－?９?ｌｏ?９?９＿＿〇＿?Ｃｂ）?？＞??圖２．２：五棵決策樹。箭頭指示了匹配兩棵決策樹所需要的操作，圖中同時列出了成對樹匹??配多樣性度量值。??入一個結點、刪除一個結點和替換一個結點的分枝屬性。需要的操作數(shù)最多是??兩棵決策樹內部結點個數(shù)之和。這種定義和樹編輯距離聯(lián)系密切，可以通過動??態(tài)規(guī)劃或者更高效的分解方法計算｜￣。這個度量值越大，說明兩棵樹的結構差??異越大。集成的樹匹配多樣性度量定義為集成中所有成對樹匹配多樣性度景的??均值，并用集成中最大的成對樹匹配多樣性度量值ｉｊ丨一化。??平個例廣，闖２．２展�。叩某��！曦校担咭浴叮罚ǎ保埽罚浚迹海叮贰模窂模撸ǎd７＞７數(shù)掘集上訓練??得到的５棵決策樹。數(shù)１Ｗ？乜含９個厲性，依次是Ｃｌｕｍｐ?Ｔｈｉｃｋｎｅｓｓ?（ＣＴ）、Ｃｅｌ丨??Ｓｉｚｅ?Ｕｎｉｆｏｒｍｉｔｙ?（ＣＳＩ）、Ｃｅｌｌ?Ｓｈａｐｅ?Ｕｎｉｆｏｒｍｉｔｙ?（ＣＳＨ）、Ｍａｒｇｉｎａｌ?Ａｄｈｅｓｉｏｎ?（ＭＡ）、??Ｓｉｎｇｌｅ?Ｅｐｉｔｈｅｌｉａｌ?Ｃｅｌｌ?Ｓｉｚｅ?（ＳＥ）、Ｂａｒｅ?Ｎｕｃｌｅｉ?（ＢＮ）、Ｂｌａｎｄ?Ｃｈｒｏｍａｔｉｎ?（ＢＣ）、Ｎｏｒ

１４?第二章結構多樣性??考慮在第一章中提到的預測是否ｙ?２?Ｘ的任務。圖２．３畫出了三棵決策樹，??樹１和樹２的決策區(qū)域分別與圖１．１中的決策區(qū)域一致。假設我們己經(jīng)有兩棵決??策樹，樹１和樹３，我們希望從樹１和樹３中再選擇一棵添加到樹１和樹２中??進行集成。沒有一個已有的行為多樣性度量可以區(qū)分樹１和樹２，因為它們在??樣本上的預測結果完全一致；相比之下，樹匹配多樣性度量會傾向于選擇一個??具有不同結構的樹２而不是另一個樹１。假設Ｘ和７均勻地分布在［０，１０］，添??加樹１得到的集成誤差的期望值為０．１７，而添加樹２得到的集成誤差的期望值??為０．１３。在實際應用中，分類器的預測行為可能會差別很大，因此需要同時考??慮結構多樣性和行為多樣性以得到一個性能好的集成。??Ｔ］?｜２?３??Ｉ?Ｘ＜３?１?Ｉ?Ｘ＜３?｜?［?Ｘ＜５?１??ｙ／＼ｎ??ＣＤ?Ｉ?Ｙ＜Ｊ?１?？?Ｉ?Ｙ＜３?１?ＣＤ?？??ＣＤ?？?ＣＥ＞?１?ｘ＜７）??⑦?Ｉ?Ｙ＜７?１??ＣＤ？??圖２．３：三棵預測是否：Ｆ之Ｘ?（Ｘ，７?ｅ?［０，１０］）的決策樹。給定樹１、樹３和圖１．１中的８個樣??本，樹匹配多樣性度量（基于結構多樣性）建議添加樹２而非另一個樹１進行集成，然而??已有的多樣性度量（基于行為多樣性）無法區(qū)分樹１和樹２。??２．４實驗測試??２．４．１集成中分類器基于結構多樣性排序??得到的集成中分類器按照適當?shù)捻樞蚺帕泻�，集成誤差通常會在中等集成??大小取得最低值［２７］。那么，如果集成誤差通過適當?shù)呐判蚰軌蚪档�，排序標�??對于降低集成誤差也應當是有益的。??圖２．４繪出了兩個二分類數(shù)據(jù)集和以及兩個多分類數(shù)據(jù)


本文編號：3091451