發(fā)布時(shí)間：2020-07-02 18:27

【摘要】：隨著大數(shù)據(jù)時(shí)代的來(lái)臨,很多領(lǐng)域都存在著“維數(shù)災(zāi)難”問(wèn)題,因此性能越來(lái)越好速度愈來(lái)愈快的特征選擇成為研究熱點(diǎn)。常用的方法包括基于統(tǒng)計(jì)量、基于全局優(yōu)化和基于罰函數(shù)的特征選擇。然而,這些傳統(tǒng)特征選擇依賴(lài)于高維數(shù)據(jù)的原始特征空間,很少考慮特征間的復(fù)雜交互。不考慮交互特征空間的特征選擇為模式識(shí)別、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的發(fā)展帶來(lái)很大的限制。高維數(shù)據(jù)特征間的交互使分類(lèi)問(wèn)題復(fù)雜化,例如醫(yī)學(xué)數(shù)據(jù)和生物信息學(xué)數(shù)據(jù)等。如何利用線(xiàn)性方法的簡(jiǎn)單性和可解釋性等優(yōu)點(diǎn)并考慮復(fù)雜特征交互的特點(diǎn),目前已經(jīng)成為挑戰(zhàn)性研究工作。高維數(shù)據(jù)的回歸和分類(lèi)問(wèn)題的稀疏性使線(xiàn)性方法例如lasso取得了巨大的成功。因此,運(yùn)用罰函數(shù)和凸優(yōu)化等數(shù)學(xué)理論,深入研究交互特征選擇的模型和方法,促使回歸和分類(lèi)問(wèn)題的可解釋性的客觀化,是大數(shù)據(jù)分析方法應(yīng)用的亟迫需求。本論文針對(duì)特征選擇問(wèn)題的復(fù)雜性和速度低等問(wèn)題,以數(shù)學(xué)形式高度抽象地給出了交互特征概念和交互特征生成方法,構(gòu)建了符合分類(lèi)問(wèn)題的基于罰函數(shù)和凸優(yōu)化的特征選擇數(shù)學(xué)模型,改進(jìn)了坐標(biāo)下降算法,開(kāi)展了實(shí)驗(yàn)與評(píng)估工作。這無(wú)論對(duì)特征交互和特征選擇的理論研究還是罰函數(shù)和凸優(yōu)化的數(shù)學(xué)原理實(shí)際應(yīng)用,均具有重要的意義和價(jià)值。首先,基于多元數(shù)據(jù)圖表示原理和重心交互特征,采用全局優(yōu)化特征選擇理論研究了交互特征選擇問(wèn)題。在重心交互特征和遺傳算法、微分進(jìn)化和粒子群優(yōu)化的基礎(chǔ)上,改進(jìn)了進(jìn)化操作,提出了交互特征的遺傳算法、微分進(jìn)化算法和粒子群優(yōu)化算法的特征選擇方法,分類(lèi)器采用傳統(tǒng)分類(lèi)器。提出方法的特點(diǎn)是分類(lèi)性能高但運(yùn)行時(shí)間長(zhǎng),這為研究罰函數(shù)特征選擇奠定了實(shí)驗(yàn)基礎(chǔ)。其次,在深入研究基于全局優(yōu)化算法的交互特征選擇的基礎(chǔ)上,通過(guò)學(xué)習(xí)罰函數(shù)、凸優(yōu)化和lasso方法,構(gòu)建了交互特征的彈性網(wǎng)模型,給出了彈性網(wǎng)罰兩類(lèi)或多類(lèi)邏輯回歸模型和坐標(biāo)下降算法,并以此為基礎(chǔ),提出了交互特征的彈性網(wǎng)特征選擇方法,分類(lèi)器采用傳統(tǒng)分類(lèi)器和lasso分類(lèi)器。實(shí)驗(yàn)結(jié)果證明提出方法具有可解釋性、分類(lèi)性能高和運(yùn)行時(shí)間低的特點(diǎn)。最后,在彈性網(wǎng)特征選擇的基礎(chǔ)上,考慮交互特征罰函數(shù),基于原始特征和交互特征分層的思想,提出了一種交互特征的分層lasso特征選擇方法。構(gòu)建了交互特征的分層lasso罰邏輯回歸模型,凸松弛策略,基于坐標(biāo)下降法的分層模型參數(shù)的計(jì)算,基于廣義梯度下降法的分層模型參數(shù)的計(jì)算,正則化參數(shù)優(yōu)化選擇策略。最后提出了重心交互特征的分層lasso模型和坐標(biāo)下降算法。實(shí)驗(yàn)結(jié)果證明提出方法分類(lèi)性能高。
【學(xué)位授予單位】：燕山大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP391.41;O212.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李鋒;蓋玉潔;盧一強(qiáng);;測(cè)量誤差模型的自適應(yīng)LASSO變量選擇方法研究[J];中國(guó)科學(xué):數(shù)學(xué);2014年09期

2 丁毅濤;張吐輝;張海;;稀疏Group Lasso高維統(tǒng)計(jì)分析[J];西北大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年02期

本文編號(hào)：2738531