【摘要】：特征選擇是一個從原始數(shù)據(jù)集中選擇出最優(yōu)特征子集的過程,它是通過降低數(shù)據(jù)集維度來提高學(xué)習(xí)算法性能的重要手段,也是機(jī)器學(xué)習(xí)過程中關(guān)鍵的數(shù)據(jù)預(yù)處理步驟。在保證一定分類精度的前提下,使用特征選擇方法刪除數(shù)據(jù)集中不相關(guān)和冗余的特征,解決了數(shù)據(jù)集中特征數(shù)量龐大、特征之間相互作用復(fù)雜的問題,從而降低后續(xù)機(jī)器學(xué)習(xí)任務(wù)中的難度,使分類器的工作既快又準(zhǔn)確。元啟發(fā)式算法是指一類通用型的啟發(fā)式算法。在時(shí)間和成本有限的條件下,元啟發(fā)式算法有助于在有限的時(shí)間內(nèi)從巨大的解空間中找到近似最優(yōu)解。學(xué)者們試圖將元啟發(fā)式算法應(yīng)用到求解復(fù)雜的特征選擇問題,其中受大自然啟發(fā)的元啟發(fā)式算法在各個領(lǐng)域證明了他們的潛力,可以為不同的優(yōu)化問題提供解決方案。但是,至今沒有特定的算法能給出所有優(yōu)化問題的最佳解決方案�；谧匀滑F(xiàn)象、物種智慧及覓食行為,學(xué)者們提出了許多基于不同理論和技術(shù)的算法,例如以遺傳算法為代表的傳統(tǒng)進(jìn)化算法、蟻群優(yōu)化、粒子群優(yōu)化、布谷鳥搜索算法、螢火蟲算法等。同樣受到自然靈感啟發(fā)的烏鴉搜索算法(Crow search algorithm,簡稱Cr SA)是一種新型的元啟發(fā)式算法,它是由Askarzadeh在2016年提出。該算法的主要思想是:烏鴉作為一種群居鳥類,它具有導(dǎo)航的能力,存儲和尋找食物的智慧,以及避免自己的食物被其他同伴偷取的聰明大腦。通過對Cr SA的分析,我們發(fā)現(xiàn)可以利用Cr SA解決離散空間搜索問題,特別是求解特征選擇問題。由此,我們提出基于烏鴉搜索算法的特征選擇算法(Feature selection using crow search algorithm,簡稱FSCr SA)。為了驗(yàn)證FSCr SA的有效性,我們將FSCr SA用在三種分類器上指導(dǎo)學(xué)習(xí)過程,分別為SVM,J48和KNN分類器,并且在多個數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。通過與傳統(tǒng)的機(jī)器學(xué)習(xí)特征選擇算法和基于進(jìn)化計(jì)算的特征選擇算法比較,FSCr SA能夠在數(shù)據(jù)集中選擇辨識度較強(qiáng)的特征,不僅大幅度降低了特征子集的規(guī)模,而且提高了分類準(zhǔn)確率。通過對FSCr SA的分析,我們發(fā)現(xiàn)算法在初始化以及搜索階段具有局限性,導(dǎo)致維度縮減能力不高,由此我們對FSCr SA進(jìn)行改進(jìn),提出了Improved Feature Selection UsingCrow Search Algorithm(簡稱:IFSCr SA)。我們使用反向?qū)W習(xí)搜索策略設(shè)置烏鴉在離散空間的初始位置,利用反向?qū)W習(xí)的優(yōu)點(diǎn),使算法的初始值不是完全隨機(jī),我們選擇較優(yōu)的初始值作為初始位置從而提高尋優(yōu)速度;采用Lévy飛行方法平衡全局搜索與局部搜索,通過Lévy飛行步長的調(diào)節(jié),使算法在前期不過早陷入局部最優(yōu),在后期又能快速收斂于全局最優(yōu);我們同時(shí)提出使用貪婪策略的更新機(jī)制,從而進(jìn)一步加快算法的收斂速度。通過實(shí)驗(yàn)結(jié)果可以證明,相比于FSCr SA,IFSCr SA在不降低分類準(zhǔn)確率的條件下,維度縮減能力更強(qiáng)。
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP18
【圖文】：

選擇特征

更新特征

FSCrSA及對比算法的分類準(zhǔn)確率折線圖

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳中華;鄭瑋;;基于?_(2,1)范數(shù)的在線流特征選擇算法[J];計(jì)算機(jī)與數(shù)字工程;2019年06期

2 代琨;于宏毅;馬學(xué)剛;李青;;基于支持向量機(jī)的特征選擇算法綜述[J];信息工程大學(xué)學(xué)報(bào);2014年01期

3 陳建華;王治和;蔣蕓;許虎寅;樊東輝;;一種改進(jìn)的文本分類特征選擇算法[J];微電子學(xué)與計(jì)算機(jī);2011年12期

4 張文靜;王備戰(zhàn);張志宏;;基于圖的特征選擇算法綜述[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年01期

5 孫剛;張靖;;面向高維微陣列數(shù)據(jù)的集成特征選擇算法[J];計(jì)算機(jī)工程與科學(xué);2016年07期

6 張自敏;;大數(shù)據(jù)中基于稀疏投影的在線特征選擇算法[J];湖南科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年03期

7 陳曉明;;海量高維數(shù)據(jù)下分布式特征選擇算法的研究與應(yīng)用[J];科技通報(bào);2013年08期

8 李富星;蒙祖強(qiáng);;一種改進(jìn)的類別區(qū)分詞特征選擇算法[J];計(jì)算機(jī)與現(xiàn)代化;2019年03期

9 劉飛飛;;特征選擇算法及應(yīng)用綜述[J];辦公自動化;2018年21期

10 侯嶼;秦小林;彭皓月;張力戈;;全局調(diào)距和聲特征選擇算法[J];計(jì)算機(jī)工程與應(yīng)用;2019年02期

相關(guān)會議論文 前10條

1 甄超;鄭濤;許潔萍;;音樂流派分類中特征選擇算法研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

2 陳偉海;李建軍;趙志華;曹丹陽;李晉宏;;數(shù)據(jù)挖掘特征選擇算法研究及其在鋁電解中的應(yīng)用[A];2011中國有色金屬行業(yè)儀表自動化學(xué)術(shù)會議論文集[C];2011年

3 張仰森;曹元大;;最大熵建模方法中一種改進(jìn)的特征選擇算法[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

4 張錚;胡社教;江萍;;基于EP模式的特征選擇算法[A];2011中國儀器儀表與測控技術(shù)大會論文集[C];2011年

5 周炎濤;唐劍波;王家琴;;基于信息熵的改進(jìn)TFIDF特征選擇算法[A];第二十六屆中國控制會議論文集[C];2007年

6 徐燕;孫春明;王斌;李錦濤;;基于詞條頻率的特征選擇算法研究[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

7 李文法;段m#毅;劉悅;孫春來;;一種面向流分類的特征選擇算法[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

8 戴鍵;楊宏暉;;用于水聲目標(biāo)識別的自適應(yīng)免疫克隆特征選擇算法[A];2011'中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2011年

9 楊宏暉;李江濤;甘安琴;姚曉輝;;用于水下目標(biāo)識別的無監(jiān)督譜特征選擇算法[A];2016年中國造船工程學(xué)會水中目標(biāo)特性學(xué)組學(xué)術(shù)交流會論文集[C];2016年

10 羅勇;周超;許超;;文本分類在商品廣告分類中的應(yīng)用[A];全國第五屆信號和智能信息處理與應(yīng)用學(xué)術(shù)會議�？�(第一冊)[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 高萬夫;基于序列前向選擇策略的過濾算法研究[D];吉林大學(xué);2019年

2 田肅巖;吸納通路信息識別相關(guān)基因的特征選擇算法的研究[D];吉林大學(xué);2018年

3 黃鑫;基于特征關(guān)聯(lián)關(guān)系的特征選擇算法研究[D];大連理工大學(xué);2018年

4 李云;特征選擇算法及其在基于內(nèi)容圖像檢索中的應(yīng)用研究[D];重慶大學(xué);2005年

5 張靖;面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究[D];合肥工業(yè)大學(xué);2014年

6 劉華文;基于信息熵的特征選擇算法研究[D];吉林大學(xué);2010年

7 史彩娟;網(wǎng)絡(luò)空間圖像標(biāo)注中半監(jiān)督稀疏特征選擇算法研究[D];北京交通大學(xué);2015年

8 楊杰明;文本分類中文本表示模型和特征選擇算法研究[D];吉林大學(xué);2013年

9 潘巍巍;故障嚴(yán)重程度識別的有序分類特征分析方法[D];哈爾濱工業(yè)大學(xué);2013年

10 楊峻山;生物組學(xué)數(shù)據(jù)的集成特征選擇研究[D];深圳大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 李飛;基于層次聚類的生物數(shù)據(jù)特征選擇算法的研究與實(shí)現(xiàn)[D];吉林大學(xué);2019年

2 王穎;基于烏鴉搜索算法的特征選擇算法的研究及改進(jìn)優(yōu)化[D];吉林大學(xué);2019年

3 李森;基于多目標(biāo)進(jìn)化優(yōu)化的癌癥數(shù)據(jù)特征選擇算法研究[D];安徽大學(xué);2019年

4 郭偉;大樣本高維數(shù)據(jù)下基于進(jìn)化多目標(biāo)優(yōu)化的特征選擇算法研究[D];安徽大學(xué);2019年

5 唐莉;基于樣本差異性分析的多標(biāo)記特征選擇算法研究[D];閩南師范大學(xué);2019年

6 李昌聰;基于代價(jià)敏感的特征選擇算法研究及應(yīng)用[D];蘭州大學(xué);2019年

7 趙凱;Android惡意應(yīng)用檢測中特征選擇算法的研究[D];湖南大學(xué);2016年

8 趙軍;基于Top-r方法的特征選擇算法研究[D];湖南大學(xué);2014年

9 樊力文;基于Spark的穩(wěn)定特征及流式特征選擇算法研究[D];河南大學(xué);2018年

10 脫倩娟;基于數(shù)據(jù)相似性的特征選擇算法研究[D];閩南師范大學(xué);2018年

本文編號：2755948