【摘要】：特征選擇是機(jī)器學(xué)習(xí)領(lǐng)域中研究最早的分支領(lǐng)域之一,是一個(gè)非常重要的數(shù)據(jù)預(yù)處理過(guò)程,也是常用的數(shù)據(jù)降維方法之一,被廣泛的應(yīng)用于一系列現(xiàn)實(shí)問(wèn)題,如分類(lèi),手寫(xiě)識(shí)別等。特征選擇是指從原始特征集中選擇使某種評(píng)估標(biāo)準(zhǔn)最優(yōu)的特征子集,其最終目的是根據(jù)一些評(píng)選準(zhǔn)則移除不相關(guān)、冗余特征,選取出最小的特征子集,使得任務(wù)如分類(lèi)、回歸等達(dá)到和特征選擇前近似甚至更好的效果并且提高算法的泛化能力。演化算法是一類(lèi)模擬自然界遺傳進(jìn)化規(guī)律的仿生學(xué)算法,尤其適合于處理傳統(tǒng)搜索方法難以解決的高度復(fù)雜的非線性問(wèn)題。隨著演化算法被證實(shí)適合優(yōu)化問(wèn)題,進(jìn)化算法(EA)、粒子群優(yōu)化算法(PSO)、蟻群算法(ACO)在特征選擇領(lǐng)域的應(yīng)用已經(jīng)取得令人滿(mǎn)意的成果。為更好地解決特征選擇問(wèn)題,Manizheh Ghaemi等人提出了一個(gè)較新的、高效的、具有全局搜索能力的森林優(yōu)化特征選擇算法FSFOA。相比其他算法,FSFOA算法通常只需較小的計(jì)算代價(jià)就可達(dá)到較高的分類(lèi)準(zhǔn)確率,并且具有很好的泛化性能。雖然如此,但仍有一些不足之處。在FSFOA方法中,初始化階段的隨機(jī)性、更新機(jī)制上的局限性及局部播種階段新樹(shù)的劣質(zhì)性嚴(yán)重限制了該算法的分類(lèi)性能和維度縮減能力。受Ini PG,MFOA算法的啟發(fā),本文針對(duì)FSFOA算法的不足之處進(jìn)行改進(jìn)。在FSFOA算法的初始化階段,我們采用新的初始化策略,利用前向選擇和后向選擇的優(yōu)點(diǎn),摒棄其缺點(diǎn),形成雙向選擇的策略;在更新機(jī)制上,克服傳統(tǒng)更新機(jī)制的局限性,將維度縮減問(wèn)題也納入考慮范圍;在算法的局部播種階段,為避免森林中存在過(guò)多劣質(zhì)樹(shù),增加搜索難度,影響分類(lèi)性能,我們采用了極度貪婪的策略,從而形成一個(gè)新的特征選擇算法IFSFOA,在最大化分類(lèi)性能的同時(shí)最小化特征個(gè)數(shù)。在改進(jìn)算法過(guò)程中,為了避免因極度貪婪策略導(dǎo)致算法陷入局部最優(yōu)問(wèn)題,在IFSFOA算法中,將全局播種階段作用的對(duì)象由侯選森林改為由候選森林和森林中所有Age為0的樹(shù)共同確定,但改變前后用在全局播種階段的樹(shù)的數(shù)目并未改變,這樣就使得同一顆0-Age樹(shù)既可以局部播種,又可以全局播種,一定程度上解決了因極度貪婪策略而帶來(lái)的易陷入局部最優(yōu)解問(wèn)題。實(shí)驗(yàn)階段,IFSFOA使用SVM,J48和KNN分類(lèi)器指導(dǎo)學(xué)習(xí)過(guò)程,通過(guò)機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)UCI上的小維,中維,高維數(shù)據(jù)集進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,與FSFOA相比,IFSFOA在分類(lèi)性能和維度縮減上均有明顯提高。將IFSFOA算法與近幾年提出的比較高效的特征選擇方法進(jìn)行對(duì)比,不論是在準(zhǔn)確率,還是在維度縮減上,IFSFOA仍具有很強(qiáng)的競(jìng)爭(zhēng)力。
【圖文】：

圖 2.1 演化算法的基本框架了更好地理解演化算法的基本流程，算法 2.1 給出了演化算法的偽代碼。表示演化算法的迭代次數(shù)，，初始值為 0，P(m)代表迭代至第 m 次時(shí)的種到第 m 次時(shí)，所研究問(wèn)題的一個(gè)可能解。Evaluate P(m)用來(lái)計(jì)算種群中每度值，用于衡量以后該解的取舍問(wèn)題。parent_Selection P(m)表示從個(gè)體中選出一些個(gè)體作為父體。Mutate P(m)是根據(jù)演化算子（如交叉、重組、方法來(lái)產(chǎn)生新個(gè)體，擴(kuò)大種群的規(guī)模，保持種群多樣性。Survive P(m) 表取優(yōu)秀的個(gè)體形成下一代種群，進(jìn)入下一輪迭代，直至滿(mǎn)足終止條件。 2.1：演化算法偽代碼問(wèn)題：求 x* S，使得 f(x*)≥f(x), x S 其中 f: S→R+f 稱(chēng)為適應(yīng)函數(shù)，S 是問(wèn)題的解空間

圖 2.2 UFSACO 示例圖計(jì)算特征之間的相似性，我們使用余弦相似度的絕對(duì)值。這使得算法可以的冗余最小。特征 A 和 B 之間的相似性由公式(2.1)給出。12 21 1( )( , ) | |......................................( )( )pi iip pi ii ia bsim A Ba b P 表示向量 A,B 的維度，A={a1,a2,...ap},B={b1,b2,...bp}。根據(jù)公式(2.1)可以看 0 到 1 之間,完全相同的兩個(gè)特征相似值為 1，而不相似的特征，這個(gè)值等擇問(wèn)題中使用蟻群算法，必須明確啟發(fā)式信息和期望策略，這是蟻群算法分。在 UFSACO 算法中，啟發(fā)式信息簡(jiǎn)單地定義為特征相似性的倒數(shù)，于 i， i=1,2...,n,也就是蟻群中的信息激素，這個(gè)值與特征有著緊密的聯(lián)系群中的螞蟻更新。算法 2.2 給出了 UFSACO 算法的偽代碼。2：UFSACO 算法
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 毛勇;周曉波;夏錚;尹征;孫優(yōu)賢;;特征選擇算法研究綜述[J];模式識(shí)別與人工智能;2007年02期

相關(guān)碩士學(xué)位論文 前1條

1 聶大干;森林優(yōu)化算法的改進(jìn)及離散化研究[D];蘭州大學(xué);2016年

本文編號(hào)：2609686