Spark框架下優(yōu)勢關(guān)系粗糙集動態(tài)屬性約簡方法研究
發(fā)布時間:2021-03-21 17:17
知識發(fā)現(xiàn)(Knowledge Discovery in Database,KDD)的主要目標(biāo)是通過轉(zhuǎn)換、抽取等一系列手段從原始知識庫中挖掘出對人們有價值知識的過程。屬性約簡(或稱特征選擇、特征降維)是一種通過某種方法從原始特征空間中刪除不必要的屬性達(dá)到降低數(shù)據(jù)維度的有效方法,它是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中數(shù)據(jù)預(yù)處理的重要步驟之一。目前特征選擇已經(jīng)廣泛應(yīng)用在圖像處理、文本分類、語音識別等領(lǐng)域。近年來,信息科技的高速發(fā)展不僅給人們生活帶來便捷體驗(yàn),同時還給各個領(lǐng)域帶來了前所未有的機(jī)遇和挑戰(zhàn),數(shù)據(jù)的共享使得數(shù)據(jù)類型更加多樣化。如何從這些高維度、復(fù)雜、動態(tài)變化的數(shù)據(jù)中挖掘出有價值的知識已成為學(xué)者們關(guān)注的研究內(nèi)容之一。本文以優(yōu)勢關(guān)系粗糙集在動態(tài)環(huán)境下如何高效獲取屬性約簡為出發(fā)點(diǎn),分別針對優(yōu)勢決策信息系統(tǒng)中動態(tài)改變對象、屬性、屬性值的情況下,高效動態(tài)屬性約簡獲取的問題進(jìn)行相關(guān)的研究。本文的主要研究內(nèi)容如下:1.對象動態(tài)變化時,闡述了優(yōu)勢決策信息系統(tǒng)中增加單個對象時優(yōu)勢集的變化規(guī)律,給出了優(yōu)勢決策信息系統(tǒng)動態(tài)更新屬性約簡的定理,設(shè)計了增加單個對象后優(yōu)勢決策信息系統(tǒng)增量更新屬性約簡的算法,通過UCI機(jī)器...
【文章來源】:西南交通大學(xué)四川省 211工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
論文組織結(jié)構(gòu)圖
圖 2-1 Spark 任務(wù)提交過程 本章小結(jié)本章主要介紹了粗糙集理論中所涉及到的基本概念和基本定理。首先給出了集中有關(guān)基礎(chǔ)定義、定理和性質(zhì)等,主要包括等價類、上近似集、下近似集、概念,隨后又簡單介紹了優(yōu)勢關(guān)系粗糙集,以及屬性重要度度量指標(biāo)和啟發(fā)簡等基礎(chǔ)知識,最后簡單介紹了 Spark 任務(wù)提交的過程。以上內(nèi)容為講解后續(xù)理論基礎(chǔ)。
果分析從以下方面對實(shí)驗(yàn)結(jié)果進(jìn)行解釋和說明。前、后特征數(shù)目比較前后特征數(shù)目對比如表 3-3 和圖 3-1 所示,從結(jié)果可以看有數(shù)據(jù)集下都能從原始屬性中約簡掉不必要的屬性,對于 D,這表明屬性約簡算法更適合處理高維特征的數(shù)據(jù)。表中的特征一致。表 3-3 非增量算法和增量算法約簡結(jié)果和選擇特征的數(shù)目集原始特征數(shù)目非增量算法選擇的特征選擇特征總數(shù)增量算法選擇的特征 9 1,3,4,5,6,7,8,9 8 1,3,4,5,6,7,8,9 r 6 6,4,1,2,5 5 6,4,1,2,5 logy 344,5,7,9,14,15,16,20,21,22,25,26,28,29,31,33164,5,7,9,14,15,16,20,21,225,26,28,29,31,33 4 1,3,4 3 1,3,4 rative 8 3,4,6,7,8 5 3,4,6,7,8 e 13 1,2,3,4,5,6,7,10,11,12,13 11 1,2,3,4,5,6,7,10,11,12,1
【參考文獻(xiàn)】:
期刊論文
[1]MapReduce框架下并行知識約簡算法模型研究[J]. 錢進(jìn),苗奪謙,張澤華,張志飛. 計算機(jī)科學(xué)與探索. 2013(01)
[2]Information entropy for ordinal classification[J]. HU QingHua , GUO MaoZu, YU DaRen & LIU JinFu Harbin Institute of Technology, Harbin 150001, China. Science China(Information Sciences). 2010(06)
[3]一種基于條件熵的增量核求解方法[J]. 梁吉業(yè),魏巍,錢宇華. 系統(tǒng)工程理論與實(shí)踐. 2008(04)
本文編號:3093247
【文章來源】:西南交通大學(xué)四川省 211工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
論文組織結(jié)構(gòu)圖
圖 2-1 Spark 任務(wù)提交過程 本章小結(jié)本章主要介紹了粗糙集理論中所涉及到的基本概念和基本定理。首先給出了集中有關(guān)基礎(chǔ)定義、定理和性質(zhì)等,主要包括等價類、上近似集、下近似集、概念,隨后又簡單介紹了優(yōu)勢關(guān)系粗糙集,以及屬性重要度度量指標(biāo)和啟發(fā)簡等基礎(chǔ)知識,最后簡單介紹了 Spark 任務(wù)提交的過程。以上內(nèi)容為講解后續(xù)理論基礎(chǔ)。
果分析從以下方面對實(shí)驗(yàn)結(jié)果進(jìn)行解釋和說明。前、后特征數(shù)目比較前后特征數(shù)目對比如表 3-3 和圖 3-1 所示,從結(jié)果可以看有數(shù)據(jù)集下都能從原始屬性中約簡掉不必要的屬性,對于 D,這表明屬性約簡算法更適合處理高維特征的數(shù)據(jù)。表中的特征一致。表 3-3 非增量算法和增量算法約簡結(jié)果和選擇特征的數(shù)目集原始特征數(shù)目非增量算法選擇的特征選擇特征總數(shù)增量算法選擇的特征 9 1,3,4,5,6,7,8,9 8 1,3,4,5,6,7,8,9 r 6 6,4,1,2,5 5 6,4,1,2,5 logy 344,5,7,9,14,15,16,20,21,22,25,26,28,29,31,33164,5,7,9,14,15,16,20,21,225,26,28,29,31,33 4 1,3,4 3 1,3,4 rative 8 3,4,6,7,8 5 3,4,6,7,8 e 13 1,2,3,4,5,6,7,10,11,12,13 11 1,2,3,4,5,6,7,10,11,12,1
【參考文獻(xiàn)】:
期刊論文
[1]MapReduce框架下并行知識約簡算法模型研究[J]. 錢進(jìn),苗奪謙,張澤華,張志飛. 計算機(jī)科學(xué)與探索. 2013(01)
[2]Information entropy for ordinal classification[J]. HU QingHua , GUO MaoZu, YU DaRen & LIU JinFu Harbin Institute of Technology, Harbin 150001, China. Science China(Information Sciences). 2010(06)
[3]一種基于條件熵的增量核求解方法[J]. 梁吉業(yè),魏巍,錢宇華. 系統(tǒng)工程理論與實(shí)踐. 2008(04)
本文編號:3093247
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3093247.html
最近更新
教材專著