【摘要】：隨著大數(shù)據(jù)時(shí)代的到來,人類活動(dòng)在不同領(lǐng)域產(chǎn)生了大量數(shù)據(jù)。這些龐大的數(shù)據(jù)信息為計(jì)算機(jī)科學(xué)家提供了豐富研究素材的同時(shí),也帶來了巨大的挑戰(zhàn)。其中,高維數(shù)據(jù)中存在大量的噪音和冗余信息,這不僅不能為科學(xué)家們提供更多的信息,還會對真正有用的信息造成干擾。因此,特征選擇技術(shù)應(yīng)運(yùn)而生。特征選擇技術(shù)是機(jī)器學(xué)習(xí)和模式識別領(lǐng)域中重要的數(shù)據(jù)預(yù)處理手段。特征選擇技術(shù)通過剔除數(shù)據(jù)中無關(guān)和冗余的特征,保留最具信息量的特征。利用特征選擇算法選擇出來的特征子集,可以提高數(shù)據(jù)質(zhì)量,從而提高分類器的準(zhǔn)確率。根據(jù)與分類器的關(guān)系,特征選擇算法大致被劃分為三類:過濾法(Filter),封裝法(Wrapper)和嵌入法(Embedded)。過濾法由于它獨(dú)立于分類器,執(zhí)行速度快,易實(shí)現(xiàn)等特點(diǎn)而備受關(guān)注。另外,在搜索策略上,我們選擇序列前向搜索策略。在測量特征與特征,以及特征與標(biāo)簽相關(guān)性時(shí),我們利用信息論作為測量工具。傳統(tǒng)的基于信息論的過濾式特征選擇算法大致通過兩方面手段選取最具信息量的特征子集:減小特征冗余;增大新的分類信息。本文圍繞著兩方面特征選擇手段的缺陷,提出了兩種不同的解決方法;另外針對兩種手段同時(shí)忽略的問題,提出了一個(gè)補(bǔ)充項(xiàng),并設(shè)計(jì)了一種新的特征選擇算法;最后,本文還對兩個(gè)新型特征選擇算法進(jìn)行了優(yōu)化,并給出一種優(yōu)化特征選擇算法。具體而言,本文的主要貢獻(xiàn)點(diǎn)和創(chuàng)新點(diǎn)如下:1.總結(jié)兩類特征選擇方法;結(jié)合類依賴特征冗余和類獨(dú)立特征冗余,提出了一種混合特征選擇方法Minimal Redundancy-Maximal New Classification Information(MR-MNCI)。這種混合特征選擇方法分別與兩類特征選擇方法進(jìn)行實(shí)驗(yàn)對比,實(shí)驗(yàn)結(jié)果證明MR-MNCI算法具有分類優(yōu)勢。另外,本文指出了該方法的不足以及未來的研究方向。2.通過分析增大新的分類信息的特征選擇算法和信息論的基本概念,對特征相關(guān)性進(jìn)行了重新解釋,并提出了一種新的過濾式特征選擇算法Compositionof Feature Relevancy(CFR)。另外,我們通過一系列等式變換,證明了CFR算法符合一種通項(xiàng),并通過實(shí)驗(yàn)證明了CFR算法的分類優(yōu)勢。3.已存在的特征選擇算法忽略了已選特征的動(dòng)態(tài)變化。根據(jù)一個(gè)實(shí)例在信息論測量上的表現(xiàn),本文提出了一個(gè)已選特征動(dòng)態(tài)變化項(xiàng),并且重新定義了特征相關(guān)性。通過結(jié)合新的特征相關(guān)項(xiàng),已選特征動(dòng)態(tài)變化項(xiàng)和特征冗余項(xiàng)。本文提出了一種極具競爭力的過濾式特征選擇算法Dynamic Change of Selected Feature(DCSF),并在4種不同分類器和在沒有特征選擇的情況下進(jìn)行了實(shí)驗(yàn),DCSF算法取得了不錯(cuò)的分類表現(xiàn)。4.傳統(tǒng)的特征選擇算法不區(qū)分候選特征相關(guān)性和已選特征相關(guān)性,并且在分類過程中,一些依賴特征被誤認(rèn)為是冗余特征。針對以上問題,本文結(jié)合特征選擇算法Joint Mutual Information Maximization(JMIM)對最小聯(lián)合互信息的定義,以及Gene Selection via Dynamic Relevance(DRGS)算法對已選特征的權(quán)重賦值,將候選特征相關(guān)性和已選特征相關(guān)性進(jìn)行區(qū)分,并且引進(jìn)DRGS算法對已選特征的權(quán)重,提出了Dynamic Relevance and Joint Mutual Information Maximization(DRJMIM)算法。DRJMIM算法分別與JMIM和DRGS以及其它3個(gè)特征選擇算法分別在一個(gè)具體實(shí)例和12個(gè)真實(shí)數(shù)據(jù)集上了進(jìn)行了實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果證明,DRJMIM算法優(yōu)于其它對比算法。本文致力于過濾式特征選擇算法在序列前向選擇策略上的研究。針對現(xiàn)有的過濾式特征選擇算法存在的問題,提出了不同的解決方案并取得了良好的效果。這些研究可以為一些高維數(shù)據(jù)剔除無關(guān)和冗余特征,保留相關(guān)特征,從而提高數(shù)據(jù)質(zhì)量。因此,具有重要的理論意義和應(yīng)用價(jià)值。
【圖文】：

Filter模型與學(xué)習(xí)算法關(guān)系圖

吉林大學(xué)博士學(xué)位論文要性。封裝法的優(yōu)勢在：由于它在學(xué)習(xí)過程中直接應(yīng)它所選出來的特征子集質(zhì)量較高。然而封裝法獲取選擇特征時(shí)，封裝法都要執(zhí)行分類算法，，根據(jù)分類子集的好壞。封裝法與分類算法的關(guān)系可以用圖 1
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP391.3;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳中華;鄭瑋;;基于?_(2,1)范數(shù)的在線流特征選擇算法[J];計(jì)算機(jī)與數(shù)字工程;2019年06期

2 代琨;于宏毅;馬學(xué)剛;李青;;基于支持向量機(jī)的特征選擇算法綜述[J];信息工程大學(xué)學(xué)報(bào);2014年01期

3 陳建華;王治和;蔣蕓;許虎寅;樊東輝;;一種改進(jìn)的文本分類特征選擇算法[J];微電子學(xué)與計(jì)算機(jī);2011年12期

4 張文靜;王備戰(zhàn);張志宏;;基于圖的特征選擇算法綜述[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年01期

5 孫剛;張靖;;面向高維微陣列數(shù)據(jù)的集成特征選擇算法[J];計(jì)算機(jī)工程與科學(xué);2016年07期

6 張自敏;;大數(shù)據(jù)中基于稀疏投影的在線特征選擇算法[J];湖南科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年03期

7 陳曉明;;海量高維數(shù)據(jù)下分布式特征選擇算法的研究與應(yīng)用[J];科技通報(bào);2013年08期

8 李富星;蒙祖強(qiáng);;一種改進(jìn)的類別區(qū)分詞特征選擇算法[J];計(jì)算機(jī)與現(xiàn)代化;2019年03期

9 劉飛飛;;特征選擇算法及應(yīng)用綜述[J];辦公自動(dòng)化;2018年21期

10 侯嶼;秦小林;彭皓月;張力戈;;全局調(diào)距和聲特征選擇算法[J];計(jì)算機(jī)工程與應(yīng)用;2019年02期

相關(guān)會議論文 前10條

1 甄超;鄭濤;許潔萍;;音樂流派分類中特征選擇算法研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

2 陳偉海;李建軍;趙志華;曹丹陽;李晉宏;;數(shù)據(jù)挖掘特征選擇算法研究及其在鋁電解中的應(yīng)用[A];2011中國有色金屬行業(yè)儀表自動(dòng)化學(xué)術(shù)會議論文集[C];2011年

3 張仰森;曹元大;;最大熵建模方法中一種改進(jìn)的特征選擇算法[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

4 張錚;胡社教;江萍;;基于EP模式的特征選擇算法[A];2011中國儀器儀表與測控技術(shù)大會論文集[C];2011年

5 周炎濤;唐劍波;王家琴;;基于信息熵的改進(jìn)TFIDF特征選擇算法[A];第二十六屆中國控制會議論文集[C];2007年

6 徐燕;孫春明;王斌;李錦濤;;基于詞條頻率的特征選擇算法研究[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

7 李文法;段m#毅;劉悅;孫春來;;一種面向流分類的特征選擇算法[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

8 戴鍵;楊宏暉;;用于水聲目標(biāo)識別的自適應(yīng)免疫克隆特征選擇算法[A];2011'中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2011年

9 楊宏暉;李江濤;甘安琴;姚曉輝;;用于水下目標(biāo)識別的無監(jiān)督譜特征選擇算法[A];2016年中國造船工程學(xué)會水中目標(biāo)特性學(xué)組學(xué)術(shù)交流會論文集[C];2016年

10 羅勇;周超;許超;;文本分類在商品廣告分類中的應(yīng)用[A];全國第五屆信號和智能信息處理與應(yīng)用學(xué)術(shù)會議�？�(第一冊)[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 高萬夫;基于序列前向選擇策略的過濾算法研究[D];吉林大學(xué);2019年

2 田肅巖;吸納通路信息識別相關(guān)基因的特征選擇算法的研究[D];吉林大學(xué);2018年

3 黃鑫;基于特征關(guān)聯(lián)關(guān)系的特征選擇算法研究[D];大連理工大學(xué);2018年

4 李云;特征選擇算法及其在基于內(nèi)容圖像檢索中的應(yīng)用研究[D];重慶大學(xué);2005年

5 張靖;面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究[D];合肥工業(yè)大學(xué);2014年

6 劉華文;基于信息熵的特征選擇算法研究[D];吉林大學(xué);2010年

7 史彩娟;網(wǎng)絡(luò)空間圖像標(biāo)注中半監(jiān)督稀疏特征選擇算法研究[D];北京交通大學(xué);2015年

8 楊杰明;文本分類中文本表示模型和特征選擇算法研究[D];吉林大學(xué);2013年

9 潘巍巍;故障嚴(yán)重程度識別的有序分類特征分析方法[D];哈爾濱工業(yè)大學(xué);2013年

10 楊峻山;生物組學(xué)數(shù)據(jù)的集成特征選擇研究[D];深圳大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 李飛;基于層次聚類的生物數(shù)據(jù)特征選擇算法的研究與實(shí)現(xiàn)[D];吉林大學(xué);2019年

2 王穎;基于烏鴉搜索算法的特征選擇算法的研究及改進(jìn)優(yōu)化[D];吉林大學(xué);2019年

3 李森;基于多目標(biāo)進(jìn)化優(yōu)化的癌癥數(shù)據(jù)特征選擇算法研究[D];安徽大學(xué);2019年

4 郭偉;大樣本高維數(shù)據(jù)下基于進(jìn)化多目標(biāo)優(yōu)化的特征選擇算法研究[D];安徽大學(xué);2019年

5 唐莉;基于樣本差異性分析的多標(biāo)記特征選擇算法研究[D];閩南師范大學(xué);2019年

6 李昌聰;基于代價(jià)敏感的特征選擇算法研究及應(yīng)用[D];蘭州大學(xué);2019年

7 趙凱;Android惡意應(yīng)用檢測中特征選擇算法的研究[D];湖南大學(xué);2016年

8 趙軍;基于Top-r方法的特征選擇算法研究[D];湖南大學(xué);2014年

9 樊力文;基于Spark的穩(wěn)定特征及流式特征選擇算法研究[D];河南大學(xué);2018年

10 脫倩娟;基于數(shù)據(jù)相似性的特征選擇算法研究[D];閩南師范大學(xué);2018年

本文編號：2596617