發(fā)布時(shí)間：2018-03-31 23:01

  本文選題：數(shù)據(jù)挖掘　切入點(diǎn)：屬性選擇　出處：《廣西師范大學(xué)》2017年碩士論文

【摘要】：數(shù)據(jù)挖掘是指從大量復(fù)雜數(shù)據(jù)中尋找和提取有用規(guī)律,形成有用模式,得到價(jià)值的過(guò)程。隨著現(xiàn)代科技水平的發(fā)展,尤其是近年大數(shù)據(jù)概念的提出,我們正進(jìn)入一個(gè)數(shù)據(jù)資源極其豐富的時(shí)代,數(shù)據(jù)挖掘技術(shù)正得到越來(lái)越多的重視,在工業(yè)發(fā)展,醫(yī)療衛(wèi)生,信息產(chǎn)業(yè)等諸多領(lǐng)域發(fā)揮著重要的作用。隨著數(shù)據(jù)維度的增加,隨之給數(shù)據(jù)挖掘任務(wù)帶來(lái)更多挑戰(zhàn),例如屬性之間的冗余,增加了數(shù)據(jù)的存儲(chǔ)空間。一般高維數(shù)據(jù)不宜在實(shí)際應(yīng)用中直接使用,而且對(duì)高維數(shù)據(jù)進(jìn)行處理會(huì)大大增加數(shù)據(jù)處理的時(shí)間和空間復(fù)雜度。因此,如何有效地并且高效地利用高維數(shù)據(jù)在數(shù)據(jù)的預(yù)處理過(guò)程中是一個(gè)重大的挑戰(zhàn)。高維數(shù)據(jù)并不是毫無(wú)結(jié)構(gòu)的,對(duì)高維數(shù)據(jù)進(jìn)行屬性約簡(jiǎn)可以縮小數(shù)據(jù)維度。屬性選擇方法可以選擇出小部分重要且具有代表性的屬性作為新的屬性集,并且能夠維持原高維數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)甚至可以提高分類效果,因而成為機(jī)器學(xué)習(xí)的一個(gè)重要領(lǐng)域。常見(jiàn)的屬性約簡(jiǎn)的方法有兩種,即子空間學(xué)習(xí)方法和屬性約簡(jiǎn)方法[1,2]。子空間學(xué)習(xí)法是將高維數(shù)據(jù)空間投影到低維數(shù)據(jù)空間,保持了數(shù)據(jù)間的相關(guān)性。屬性選擇方法是通過(guò)一種預(yù)設(shè)標(biāo)準(zhǔn)對(duì)每個(gè)屬性進(jìn)行打分排序,然后選擇出部分重要且能代表原始特征的子集。屬性選擇方法是一種很重要的技術(shù),因此它被廣泛地運(yùn)用于模式識(shí)別和機(jī)器學(xué)習(xí)等領(lǐng)域。屬性選擇方法最常見(jiàn)的有兩種,分別是稀疏邏輯回歸[3]和t-test檢驗(yàn)法[4]。最近,有些研究者在屬性選擇算法中使用低秩回歸模型。低秩回歸模型是一種全新的非常有意義的子空間聚類方法,并廣泛應(yīng)用到機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等領(lǐng)域并取得了比較滿意的效果。但低秩回歸方法直接地運(yùn)用在實(shí)際應(yīng)用中易出現(xiàn)以下問(wèn)題:首先,當(dāng)輸入的數(shù)據(jù)的屬性個(gè)數(shù)非常大時(shí),傳統(tǒng)的回歸模型表現(xiàn)出很低的性能;其次,一般線性回歸模型在不同的響應(yīng)之間不會(huì)考慮其相關(guān)性,其典型的代表是最小二乘回歸,此方法只是對(duì)每個(gè)預(yù)測(cè)的數(shù)據(jù)分別產(chǎn)生一個(gè)響應(yīng)。因此,本文針對(duì)原始數(shù)據(jù)具有缺失值的樣本、異常樣本、噪聲樣本和高維等問(wèn)題,提出了一種利用稀疏學(xué)習(xí)、超圖和低秩的屬性選擇算法,即結(jié)合稀疏學(xué)習(xí)和超圖的低秩屬性選擇算法。本文首先在線性回歸模型框架中直接地運(yùn)用低秩屬性選擇模型,低秩屬性選擇模型結(jié)合了兩種方法:低秩表示方法和稀疏表示方法;接著為了使得模型選擇出來(lái)的屬性能夠更好地保留數(shù)據(jù)的局部信息,在模型中嵌入一個(gè)基于超圖的拉普拉斯矩陣,用于保持各屬性之間的更深層次的關(guān)系;同時(shí)為了讓模型選擇出來(lái)的屬性更具有代表性,在模型中恰當(dāng)?shù)厍度虢?jīng)典子空間學(xué)習(xí)方法--LDA算法,以用于對(duì)低秩屬性模型選擇的結(jié)果進(jìn)行微調(diào);最后,提出一種新的算法優(yōu)化方法,即對(duì)目標(biāo)函數(shù)按順序執(zhí)行低秩屬性選擇和子空間學(xué)習(xí)方法,并不斷交替地迭代執(zhí)行此過(guò)程使得結(jié)果達(dá)到最優(yōu),最終取得全局最優(yōu)解。本文提出的SLH算法結(jié)合稀疏學(xué)習(xí)、低秩超圖和子空間學(xué)習(xí)各自優(yōu)點(diǎn)用于回歸分析和分類,經(jīng)大量實(shí)驗(yàn)驗(yàn)證,該算法在回歸和分類實(shí)驗(yàn)中能夠取到較好的效果。
[Abstract]:......
【學(xué)位授予單位】：廣西師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃汝激;有向超圖理論的發(fā)展和應(yīng)用[J];地質(zhì)科技管理;1995年03期

2 郭嘉凱;;云可大可小[J];軟件和信息服務(wù);2013年11期

3 范鵬飛;;超圖與組合優(yōu)化的探討[J];南京郵電學(xué)院學(xué)報(bào);1988年02期

4 郝忠孝;郭景峰;;一種基于超圖的最小覆蓋集求法[J];計(jì)算機(jī)研究與發(fā)展;1990年10期

5 楊春德;;偽超圖開(kāi)關(guān)類的若干性質(zhì)[J];重慶郵電學(xué)院學(xué)報(bào);1993年01期

6 許小滿，孫雨耕，，楊山，黃汝激;超圖理論及其應(yīng)用[J];電子學(xué)報(bào);1994年08期

7 高則年;具有最佳連通性超圖和容錯(cuò)多總線系統(tǒng)的設(shè)計(jì)[J];計(jì)算機(jī)學(xué)報(bào);1990年11期

8 牛祿青;;超圖軟件:內(nèi)外兼修[J];新經(jīng)濟(jì)導(dǎo)刊;2011年09期

9 郝忠孝,高巖,姚春龍;連接超圖的有關(guān)理論研究I:無(wú)α環(huán)分解的基本理論[J];計(jì)算機(jī)研究與發(fā)展;1997年S1期

10 黃汝激;應(yīng)用超圖理論實(shí)現(xiàn)有向基本割集矩陣[J];電子科學(xué)學(xué)刊;1992年01期

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)駐東京記者 吳仲國(guó);中國(guó)軟件在日本叫響知名品牌成市場(chǎng)寵兒[N];科技日?qǐng)?bào);2002年

2 證券時(shí)報(bào)記者 吳中珞;超圖軟件信披創(chuàng)新 微博釋疑股吧發(fā)帖詳解年報(bào)延期[N];證券時(shí)報(bào);2011年

3 本報(bào)記者 朱熹妍;地理信息火爆 超圖地理專注成器[N];經(jīng)濟(jì)觀察報(bào);2008年

4 記者 趙一蕙;超圖軟件業(yè)績(jī)快報(bào)“失準(zhǔn)”逾20%[N];上海證券報(bào);2013年

5 欒玲　趙培;超圖軟件：中國(guó)“智”造的跨國(guó)軟件企業(yè)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2010年

6 本報(bào)記者 解佳濤　戈清平;超圖軟件：做“中國(guó)智造”的跨國(guó)軟件企業(yè)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2010年

7 本報(bào)記者 梁爽;超圖：十年打造地理信息超級(jí)版圖[N];中國(guó)政府采購(gòu)報(bào);2012年

8 徐洋;北京市委書(shū)記郭金龍視察超圖軟件公司[N];中國(guó)測(cè)繪報(bào);2012年

9 本報(bào)記者 鄭燃;超圖軟件：讓?xiě)?yīng)急事件避免盲人摸象[N];政府采購(gòu)信息報(bào);2011年

10 江雪;鐘耳順鐘情GIS[N];中國(guó)企業(yè)報(bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 古萬(wàn)榮;基于超圖模型的新聞推薦研究[D];華南理工大學(xué);2015年

2 孫艷萍;3一致超圖的拉格朗日和最大團(tuán)之間的關(guān)系的研究[D];湖南大學(xué);2016年

3 彭豪;超圖的Motzkin-Straus型結(jié)果及Frankl-F(?)redi猜想[D];湖南大學(xué);2015年

4 岳俊杰;超圖H譜理論和稀疏低秩優(yōu)化算法研究[D];清華大學(xué);2016年

5 吳艷;3-一致超圖分解及相關(guān)問(wèn)題[D];北京交通大學(xué);2010年

6 吳穎敏;市場(chǎng)機(jī)遇發(fā)現(xiàn)的超圖支持方法研究[D];華中科技大學(xué);2009年

7 葉淼林;圖與超圖理論中的譜方法[D];安徽大學(xué);2010年

8 吉日木圖;圖的標(biāo)號(hào)及超圖分解問(wèn)題研究[D];大連理工大學(xué);2006年

9 王琦;網(wǎng)絡(luò)中的超圖嵌入問(wèn)題[D];山東大學(xué);2007年

10 蔡p

本文編號(hào)：1692833