近年來隨著計算成本和存儲成本的降低,集成學習成為機器學習領(lǐng)域的一個熱門方向,通過模型的組合,能同時獲得模型在計算能力和計算準確度這兩個方面的巨大突破。集成方法根據(jù)基學習器和訓練數(shù)據(jù)的不同,主要分為異質(zhì)集成和同質(zhì)集成。目前,將集成學習的思想應(yīng)用在特征選擇上的相關(guān)算法較多,但大多數(shù)集成特征選擇方法都賦予了基學習器相同的權(quán)重,事實上,不管是異質(zhì)集成和同質(zhì)集成,在訓練過程中均會產(chǎn)生不同的基學習器,各個基學習器對于訓練集的適應(yīng)程度不同,因此,我們針對集成特征選擇方法在該方面的不足,提出了不同的基于權(quán)重調(diào)節(jié)的集成特征選擇方法。針對同質(zhì)集成,本文提出了基于softmax的集成特征選擇方法,我們利用softmax函數(shù),結(jié)合每個基學習器對數(shù)據(jù)集的適應(yīng)度,對基學習器的投票權(quán)重進行調(diào)節(jié),對于適應(yīng)度較好的基學習器,其投票權(quán)重較高,同時,本文對該方法相比于無權(quán)重調(diào)節(jié)的集成特征選擇方法在泛化能力上的提升進行了理論分析,并通過實驗驗證了基于softmax函數(shù)的集成特征選擇方法在泛化性能上要優(yōu)于無權(quán)重調(diào)節(jié)的集成特征選擇方法。針對異質(zhì)集成,本文提出了基于遺傳算法的集成特征選擇方法,該方法利用遺傳算法對基學習器權(quán)重向量進... 

【文章頁數(shù)】：62 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題的研究目的和意義
    1.2 國內(nèi)外研究現(xiàn)狀分析
        1.2.1 特征選擇方法
        1.2.2 特征選擇的集成方法
        1.2.3 小結(jié)
    1.3 論文主要研究內(nèi)容
    1.4 論文內(nèi)容及結(jié)構(gòu)
第2章 基于SOFTMAX的集成特征選擇方法
    2.1 引言
    2.2 算法框架
    2.3 基于SOFTMAX的集成特征選擇方法
        2.3.1 基學習器差異性度量
        2.3.2 算法介紹
        2.3.3 算法分析
    2.4 實驗結(jié)果與分析
    2.5 本章小結(jié)
第3章 基于遺傳算法的集成特征選擇方法
    3.1 引言
    3.2 相關(guān)工作
    3.3 問題定義
        3.3.1 遺傳算法的構(gòu)成要素
        3.3.2 適應(yīng)度函數(shù)
        3.3.3 評價標準
    3.4 基于遺傳算法的集成特征選擇方法
        3.4.1 基于最優(yōu)權(quán)值的集成特征選擇方法
        3.4.2 選擇性集成特征選擇方法
        3.4.3 算法分析
    3.5 實驗結(jié)果與分析
    3.6 本章小結(jié)
第4章 基于粒子群算法的集成特征選擇方法
    4.1 引言
    4.2 問題定義
        4.2.1 粒子群算法的構(gòu)成要素
        4.2.2 適應(yīng)度函數(shù)
    4.3 基于粒子群算法的集成特征選擇
    4.4 算法分析
    4.5 實驗結(jié)果與分析
    4.6 本章小結(jié)
結(jié)論
參考文獻
致謝


【參考文獻】：
期刊論文
[1]馬爾科夫鏈的粒子群優(yōu)化算法全局收斂性分析[J]. 任子暉,王堅,高岳林.  控制理論與應(yīng)用. 2011(04)
[2]粒子群算法中隨機數(shù)參數(shù)的設(shè)置與實驗分析[J]. 劉志雄,梁華.  控制理論與應(yīng)用. 2010(11)
[3]粒子群算法中慣性權(quán)重的實驗與分析[J]. 王俊偉,汪定偉.  系統(tǒng)工程學報. 2005(02)

碩士論文
[1]基于最小最大規(guī)則的集成策略研究[D]. 周國靜.南京郵電大學 2015



本文編號：3692307