發(fā)布時(shí)間：2017-12-29 07:10

  本文關(guān)鍵詞：混合數(shù)據(jù)的核密度估計(jì)熵與快速的貪心特征選擇算法　出處：《浙江大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 核密度估計(jì) 熵 混合數(shù)據(jù) 特征選擇

【摘要】：在海量數(shù)據(jù)的時(shí)代,特征選擇作為數(shù)據(jù)挖掘、模式識別、機(jī)器學(xué)習(xí)的關(guān)鍵步驟,在降低維度、提升算法速度與精確度等方面發(fā)揮著越來越重要的作用。信息論中熵和互信息等概念在特征選擇算法中占據(jù)重要的地位,具有無需先驗(yàn)知識檢測非線性關(guān)系、抗噪聲干擾等優(yōu)點(diǎn)。但傳統(tǒng)基于信息論的特征選擇方法主要針對離散特征,而現(xiàn)實(shí)世界存在著大量連續(xù)特征、混合特征的數(shù)據(jù)。離散化是一種常見的解決方法,即將連續(xù)特征轉(zhuǎn)換為離散特征,再間接地計(jì)算信息論中的概率值,這種方法可能導(dǎo)致原始信息的損失。核密度估計(jì)(簡寫KDE)在統(tǒng)計(jì)學(xué)理論中用于對隨機(jī)變量的概率密度函數(shù)進(jìn)行無參估計(jì),部分研究者由此提出了基于KDE的條件熵,并應(yīng)用于特征選擇算法,實(shí)驗(yàn)結(jié)果證明這類方法具有較好的效果。但現(xiàn)有研究中,KDE熵公式較少且局限于連續(xù)特征,KDE熵計(jì)算用時(shí)較長、效率較低,且在高維下更加嚴(yán)重。這些問題導(dǎo)致基于KDE熵的特征選擇算法的種類較少、速度非常慢,難以被廣泛應(yīng)用。針對以上問題,本文提出混合KDE熵及基于混合KDE條件熵的快速貪心特征選擇算法,并通過理論分析和實(shí)驗(yàn)結(jié)果顯示算法的有效性和高效性。本文的主要成果包括:·提出較完整的連續(xù)特征KDE熵,提出混合特征的KDE熵,并實(shí)現(xiàn)離散熵和連續(xù)KDE熵的統(tǒng)一�！ぬ岢鲆粋�(gè)基于混合特征KDE條件熵的貪心特征選擇算法,實(shí)驗(yàn)結(jié)果表明該算法具有有效性�！ぬ岢鼍哂性隽刻匦缘暮司仃�、數(shù)據(jù)向量、劃分矩陣和核劃分矩陣的新概念,并基于它們推導(dǎo)出與KDE熵定義式等價(jià)的KDE熵矩陣式。·提出一個(gè)快速的基于混合特征KDE條件熵矩陣式的特征選擇算法,它在每一輪增量地計(jì)算離散部分和連續(xù)部分?jǐn)?shù)據(jù),并適時(shí)壓縮,不斷累積矩陣式的速度優(yōu)勢,實(shí)驗(yàn)結(jié)果表明該算法具有高效性。
[Abstract]:......
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP301.6

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 張國亮;沈慧;石峰;霍迎秋;;大型實(shí)對稱矩陣分塊迭代求逆算法[J];無線互聯(lián)科技;2015年06期

2 劉忠寶;王士同;;基于熵理論和核密度估計(jì)的最大間隔學(xué)習(xí)機(jī)[J];電子與信息學(xué)報(bào);2011年09期

3 李存華,孫志揮,陳耿,胡云;核密度估計(jì)及其在聚類算法構(gòu)造中的應(yīng)用[J];計(jì)算機(jī)研究與發(fā)展;2004年10期

相關(guān)碩士學(xué)位論文 前1條

1 劉海燕;基于信息論的特征選擇算法研究[D];復(fù)旦大學(xué);2012年

，

本文編號：1349255