特征選擇是指從原始特征中選擇出一些最有效特征以降低數(shù)據(jù)集維度的過程,其能夠降低模型復(fù)雜度,減少過擬合的風(fēng)險(xiǎn)。近年來,關(guān)于特征選擇的算法研究有很多,其中多核學(xué)習(xí)特征選擇(Multiple Kernel Learning for Feature Selection,MKL-FS)算法利用核函數(shù)去刻畫特征的復(fù)雜性質(zhì),在線性和非線性特征選擇算法中表現(xiàn)都比較突出。但是,MKL-FS算法存在兩個(gè)局限性:(1)核函數(shù)的選擇不夠豐富;(2)特征選擇的結(jié)果不夠稀疏。一方面,MKL-FS算法要求核函數(shù)滿足正定性的約束,其一定程度上約束了核函數(shù)豐富的表達(dá)能力。最新研究表明,不定核能夠更好地刻畫數(shù)據(jù)之間的關(guān)系,在許多實(shí)際應(yīng)用中取得了比正定核更好的效果。但是,由于不定核的非凸性,現(xiàn)有的MKL-FS算法通常無法適用,目前相關(guān)的研究也比較少。另一方面,MKL-FS算法通常使用l1范數(shù)來得到稀疏的核組合系數(shù)。但是l1范數(shù)僅僅是l0范數(shù)的一種凸近似,有時(shí)并不能得到l0范數(shù)正則化問題的理想解,從而導(dǎo)致精度損失。而l0范數(shù)的優(yōu)化問題是NP-hard,因此許多線性特征選擇方法利用l0范數(shù)的各種非凸近似來替代l0范數(shù),并且取得...

【文章頁數(shù)】：71 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 基于稀疏學(xué)習(xí)的特征選擇研究現(xiàn)狀
    1.3 不定核應(yīng)用的研究現(xiàn)狀
    1.4 本文的研究動(dòng)機(jī)
    1.5 本文的研究目標(biāo)及內(nèi)容
    1.6 本文的組織結(jié)構(gòu)
第二章 基于稀疏學(xué)習(xí)的特征選擇算法介紹
    2.1 預(yù)備知識(shí)
        2.1.1 問題定義
        2.1.2 核方法
    2.2 線性特征選擇算法
        2.2.1 l₁-SVM
        2.2.2 ElasticNet-SVM
        2.2.3 PIE-SVM
        2.2.4 EP-SVM
    2.3 多核學(xué)習(xí)特征選擇算法
        2.3.1 RFMKL
        2.3.2 GMKL
        2.3.3 HSIC Lasso
    2.4 本章小結(jié)
第三章 基于l₁范數(shù)的多不定核特征選擇算法研究
    3.1 模型構(gòu)建
    3.2 模型優(yōu)化
        3.2.1 凸差規(guī)劃和凸差算法
        3.2.2 求解不定核支持向量機(jī)系數(shù)
        3.2.3 求解核組合系數(shù)
        3.2.4 收斂性分析
    3.3 模型擴(kuò)展
        3.3.1 Leverage Score采樣
        3.3.2 多類分類特征選擇
    3.4 實(shí)驗(yàn)驗(yàn)證
        3.4.1 實(shí)驗(yàn)設(shè)計(jì)
        3.4.2 小規(guī)模二類分類特征選擇
        3.4.3 大規(guī)模二類分類特征選擇
        3.4.4 多類分類特征選擇
    3.5 本章小結(jié)
第四章 基于l₀范數(shù)的多不定核特征選擇算法研究
    4.1 模型構(gòu)建
    4.2 模型優(yōu)化
        4.2.1 求解不定核支持向量機(jī)系數(shù)
        4.2.2 求解核組合系數(shù)
        4.2.3 收斂性分析
    4.3 實(shí)驗(yàn)驗(yàn)證
        4.3.1 實(shí)驗(yàn)設(shè)計(jì)
        4.3.2 實(shí)驗(yàn)結(jié)果
    4.4 本章小結(jié)
第五章 結(jié)束語
    5.1 本文工作小結(jié)
    5.2 進(jìn)一步的工作
致謝
參考文獻(xiàn)
作者簡介



本文編號(hào)：3803169