【摘要】：特征選擇技術(shù)是機器學(xué)習(xí)和數(shù)據(jù)挖掘任務(wù)的關(guān)鍵預(yù)處理技術(shù)。傳統(tǒng)貪婪式特征選擇方法僅考慮本輪最佳特征,從而導(dǎo)致獲取的特征子集僅為局部最優(yōu),無法獲得最優(yōu)或者近似最優(yōu)的特征集合。進(jìn)化搜索方式則有效地對特征空間進(jìn)行搜索,然而不同的進(jìn)化算法在搜索過程中存在自身的局限。本文吸取遺傳算法(GA)和粒子群優(yōu)化算法(PSO)的進(jìn)化優(yōu)勢,以信息熵度量為評價,通過協(xié)同演化的方式獲取最終特征子集。并提出適用于特征選擇問題特有的比特率交叉算子和信息交換策略。實驗結(jié)果顯示,遺傳算法和粒子群協(xié)同進(jìn)化(GA-PSO)在進(jìn)化搜索特征子集的能力和具體分類學(xué)習(xí)任務(wù)上都優(yōu)于單獨的演化搜索方式。進(jìn)化搜索提供的組合判斷能力優(yōu)于貪婪式特征選擇方法。
【圖文】：

以防止陷入局部最優(yōu)，又提升了演化速度。1基礎(chǔ)知識1．1特征選擇數(shù)據(jù)集D中含有k個樣本D={x1，x2，…，xk}，并且D中的每個樣本都有特征集合F，F(xiàn)包含n維特征，xi∈Ｒn。對于分類問題，可將D中樣本劃分為目標(biāo)向量C中的m個不同的類C={C1，C2，…，Cm}。特征選擇的目的，是在原始特征集合N中尋找到一個最佳特征子集P，其中含有p維特征(p＜n)，，在該特征子集下能最大化分類任務(wù)(或其他學(xué)習(xí)任務(wù))的預(yù)測正確率。特征選擇處理包括4個組件:特征子集生成、子集評估、終止條件和結(jié)果驗證。如圖1所示，在階段1中根據(jù)一個確定的搜索策略特征子集生成組件會預(yù)先產(chǎn)生候選特征子集。每一個候選特征子集都會被一個確定的評估方式所度量，并與之前最佳的候選特征子集做比較，如果新的特征子集表現(xiàn)得更加優(yōu)越，那么替換原有的最佳特征子集。當(dāng)滿足設(shè)定的終止條件時，生成和評估這兩個過程將不再循環(huán)。在階段2中，最終所選的特征子集需要被一些給定的學(xué)習(xí)算法進(jìn)行結(jié)果驗證，其中ACC為學(xué)習(xí)正確率［3］。圖1特征選擇處理的統(tǒng)一視角Fig．1Aunifiedviewoffeatureselectionprocess1．2遺傳算法基本原理遺傳算法作為一種自適應(yīng)全局優(yōu)化搜索算法，其選擇、交叉與變異的3個算子成為種群尋優(yōu)和保持解多樣性的關(guān)鍵。其基本執(zhí)行過程如下。1)初始化:確定種群規(guī)模N、交叉概率Pcross、變異概率Pmutation和終止進(jìn)化準(zhǔn)則。2)個體評價:計算每個個體的適應(yīng)度。3)種群進(jìn)化:①選擇算子:個體被選中的概率與其適應(yīng)度函數(shù)值成正比。②交叉算子:根據(jù)交叉概率Pcross對2條染色體交換部分基因，構(gòu)造下一代新的染色體。③變異算子:根據(jù)概率Pmutation對群體中的不同個體指定的基因位進(jìn)行改造。④終止檢驗:如已?

，利用該函數(shù)將連續(xù)的速度值轉(zhuǎn)化為離散的位置。在最初的研究中使用式(3)中的sigmoid函數(shù)作為轉(zhuǎn)換函數(shù)將實值的速度映射為［0，1］之間的值。Tvkh((t))=11+e－vkh(t)(3)式中:vkh(t)為粒子h在第t輪迭代中第k維的速度。在將粒子速度轉(zhuǎn)換為概率值后，位置向量將依據(jù)概率值進(jìn)行更新:xkh(t+1)=0，rand＜Tvkh((t+1))1，rand≥Tvkh((t+1)){(4)2求解特征子集的協(xié)同演化方法2．1編碼方式本文使用了二進(jìn)制比特串的編碼方式，該編碼方式通用于遺傳算法和二元粒子群方法，如圖2所示。將每個二進(jìn)制串作為一個個體(粒子)，個體(粒子)中的每一維(每一比特)都代表一個候選特征，當(dāng)該位為1時表示該特征被選中，并添加到候選的特征子集中;當(dāng)該位為0時表示該特征未被選中。依據(jù)此編碼方式將特征選擇問題轉(zhuǎn)換為尋找最佳個體(粒子)的問題。圖2二元粒子群的編碼方式Fig．2CodingschemeofBPSO2．2適應(yīng)度函數(shù)本文使用互信息熵理論對特征子集進(jìn)行整體評估，兩個變量的互信息值越大，則意味著兩個變量相關(guān)程度越緊密;當(dāng)互信息為零時，則意味著兩個變量完全不相關(guān)。特征集合F={f1，f2，…，fn}中某一特征fi與類別的互信息度量如下:I(fi，C)=H(fi)+H(C)－H(fi，C)(5)式中:H為變量的熵值，用以度量隨機變量信息的不確定性。以類別向量為例，H(C)通常用作描述離散隨機變量C={c1，c2，…，cn}熵值，ci是變量C的可能取值，p(ci)為概率密度函數(shù)。H(C)=－∑mi=1p(ci)log(p(ci))(6)當(dāng)已知特征變量和類別變量fi和C的聯(lián)合概率密度時(對于離散數(shù)據(jù)意味著兩個變量對應(yīng)的屬性值聯(lián)合出現(xiàn)的頻度)，兩者的聯(lián)合熵為Hfi(，C)=－∑

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 滕旭陽;董紅斌;孫靜;;面向特征選擇問題的協(xié)同演化方法[J];智能系統(tǒng)學(xué)報;2017年01期

2 任江濤;黃煥宇;孫婧昊;印鑒;;基于遺傳算法及聚類的基因表達(dá)數(shù)據(jù)特征選擇[J];計算機科學(xué);2006年09期

3 曾孝平;李勇明;王靖;張曉娟;鄭雅敏;;基于競爭策略的鏈?zhǔn)街悄荏w遺傳算法用于特征選擇的研究[J];系統(tǒng)仿真學(xué)報;2008年08期

4 曾孝平;王靖;李勇明;鄭雅敏;張曉娟;;用于特征選擇的多準(zhǔn)則閉合鏈?zhǔn)竭z傳算法[J];數(shù)據(jù)采集與處理;2008年04期

5 任斌,豐鎮(zhèn)平;改進(jìn)遺傳算法與粒子群優(yōu)化算法及其對比分析[J];南京師范大學(xué)學(xué)報(工程技術(shù)版);2002年02期

6 唐鳳;宣士斌;范曉杰;;基于遺傳算法的關(guān)節(jié)特征選擇[J];廣西民族大學(xué)學(xué)報(自然科學(xué)版);2017年01期

7 解英杰;朱振方;;一種基于模糊遺傳算法的最優(yōu)特征子集優(yōu)化方法研究[J];信息技術(shù)與信息化;2008年06期

8 任江濤;孫婧昊;黃煥宇;印鑒;;一種基于信息增益及遺傳算法的特征選擇算法[J];計算機科學(xué);2006年10期

9 黃菊;;基于遺傳算法的產(chǎn)品基因重組設(shè)計[J];電腦與電信;2016年12期

10 張子寧;單甘霖;段修生;張岐龍;;基于改進(jìn)遺傳算法的支持向量機特征選擇[J];電子產(chǎn)品世界;2010年Z1期

相關(guān)會議論文 前10條

1 易超群;李建平;朱成文;;一種改進(jìn)的浮動搜索特征子集算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2010年

2 楊雅偉;侍洪波;;量子粒子群優(yōu)化算法及其應(yīng)用研究[A];中國儀器儀表學(xué)會第九屆青年學(xué)術(shù)會議論文集[C];2007年

3 廖勇;王飛;;基于混合改進(jìn)遺傳算法的非線性規(guī)劃問題研究[A];第四屆中國智能計算大會論文集[C];2010年

4 彭軍;徐本柱;劉曉平;;遺傳算法的實現(xiàn)及其在生產(chǎn)調(diào)度中的應(yīng)用[A];全國第20屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（上冊）[C];2009年

5 陳猛;;遺傳算法在機械設(shè)計中的研究和創(chuàng)新[A];2017年9月全國教育科學(xué)學(xué)術(shù)科研成果匯編[C];2017年

6 賴梅;熊麗榮;;基于改進(jìn)遺傳算法的乘務(wù)交路優(yōu)化問題研究[A];第二十一屆中國控制會議論文集[C];2002年

7 肖龍光;丁曉東;;基于理性變異的遺傳算法[A];第六屆中國青年運籌與管理學(xué)者大會論文集[C];2004年

8 肖龍光;丁曉東;謝集平;;粒子群優(yōu)化算法的改進(jìn)[A];第二十三屆中國控制會議論文集（上冊）[C];2004年

9 鞠訓(xùn)光;于洪珍;;求整體優(yōu)化全部解的區(qū)間排除遺傳算法[A];第十七屆全國過路控制會議論文集[C];2006年

10 劉興隆;;快速進(jìn)化式遺傳算法[A];“電力大系統(tǒng)災(zāi)變防治和經(jīng)濟運行重大課題”部分專題暨第九屆全國電工數(shù)學(xué)學(xué)術(shù)年會論文集[C];2003年

相關(guān)重要報紙文章 前1條

1 上海科學(xué)院規(guī)劃研究處 劉小玲;上海能否成為人工智能城市[N];解放日報;2017年

相關(guān)博士學(xué)位論文 前10條

1 滕旭陽;面向特征選擇問題的優(yōu)化方法研究[D];哈爾濱工程大學(xué);2017年

2 馬國田;遺傳算法及其在電磁工程中的應(yīng)用[D];西安電子科技大學(xué);1998年

3 孫秋紅;基于遺傳算法的水質(zhì)數(shù)據(jù)挖掘與應(yīng)用研究[D];燕山大學(xué);2016年

4 宋曉峰;優(yōu)生演進(jìn)優(yōu)化和統(tǒng)計學(xué)習(xí)建模[D];浙江大學(xué);2003年

5 李智勇;模式交流多群體遺傳算法及其在神經(jīng)網(wǎng)絡(luò)進(jìn)化建模中的應(yīng)用[D];湖南大學(xué);2003年

6 田明俊;智能反演算法及其應(yīng)用研究[D];大連理工大學(xué);2006年

7 王微微;氣液兩相流參數(shù)檢測新方法研究[D];浙江大學(xué);2006年

8 溫步瀛;發(fā)電機組啟停機計劃的智能優(yōu)化研究[D];福州大學(xué);2006年

9 葛培明;改進(jìn)的遺傳算法及其在工程優(yōu)化中的應(yīng)用[D];西南交通大學(xué);2006年

10 潘偉;基于遺傳算法的魯棒控制問題研究[D];東北大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 王靖;基于基因鎖定及鏈?zhǔn)街悄荏w遺傳算法的特征選擇研究[D];重慶大學(xué);2008年

2 鄭雅敏;基于遺傳算法的特征選擇方法的改進(jìn)研究[D];重慶大學(xué);2008年

3 馮茂;基于粒子群優(yōu)化的網(wǎng)絡(luò)視頻流特征選擇與識別[D];南京郵電大學(xué);2017年

4 曹彥;基于支持向量機的特征選擇及其集成方法的研究[D];鄭州大學(xué);2010年

5 杜政霖;在線特征選擇及其應(yīng)用[D];南京郵電大學(xué);2017年

6 吳冠朋;基于智能計算的HBV病毒再激活分類預(yù)測模型研究[D];齊魯工業(yè)大學(xué);2017年

7 付志軍;遺傳算法和粒子群優(yōu)化算法在車間作業(yè)調(diào)度問題中的應(yīng)用[D];吉林大學(xué);2014年

8 江中央;正交遺傳算法及其應(yīng)用研究[D];中南大學(xué);2008年

9 吳佳英;多親遺傳算法及其應(yīng)用研究[D];湘潭大學(xué);2003年

10 朱合興;基于蒙特卡羅樹搜索的預(yù)測狀態(tài)表示模型獲取及特征選擇研究[D];廈門大學(xué);2017年

本文編號：2556648