本文關(guān)鍵詞：2種加速K-近鄰方法的實(shí)驗(yàn)比較

  更多相關(guān)文章： K-近鄰 數(shù)據(jù)挖掘 MapReduce Hadoop

【摘要】：K-近鄰(K-NN:K-nearest neighbors)是著名的數(shù)據(jù)挖掘算法,應(yīng)用非常廣泛.K-NN思想簡單,易于實(shí)現(xiàn),其計(jì)算時間復(fù)雜度和空間復(fù)雜度都是O(n),n為訓(xùn)練集中包含的樣例數(shù).當(dāng)訓(xùn)練集比較大時,特別是面對大數(shù)據(jù)集時,K-NN算法的效率會變得非常低,甚至不可行.本文用實(shí)驗(yàn)的方法比較了2種加速K-NN的方法,2種加速方法分別是壓縮近鄰(CNN:condensed nearest neighbor)方法和基于MapReduce的K-NN.具體地,在Hadoop環(huán)境下,用MapReduce編程實(shí)現(xiàn)了K-NN算法,并與CNN算法在8個數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)比較,得出了一些有價值的結(jié)論,對從事相關(guān)研究的人員具有一定的借鑒作用.
【作者單位】： 河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(71371063) 河北省高等學(xué)�？茖W(xué)技術(shù)研究重點(diǎn)項(xiàng)目(ZD20131028) 河北大學(xué)研究生創(chuàng)新項(xiàng)目(X2016059)
【分類號】：TP311.13
【正文快照】： K-近鄰(K-NN:K-nearest neighbors)算法[1]是一種著名的數(shù)據(jù)挖掘算法,已成功應(yīng)用于模式識別[2]、文本分類[3-4]、故障診斷[5]等.K-NN通過計(jì)算待分類樣例與訓(xùn)練集中每一個樣例之間的距離,找到距離它最近的K個樣例,樣例最多的類別,即為待分類樣例的類別.顯然,K-NN算法的計(jì)算時間

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王清毅,張波,蔡慶生;目前數(shù)據(jù)挖掘算法的評價[J];小型微型計(jì)算機(jī)系統(tǒng);2000年01期

2 胡浩紋,魏軍,胡濤;模糊數(shù)據(jù)挖掘算法在人力資源管理中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2002年05期

3 萬國華,陳宇曉;數(shù)據(jù)挖掘算法及其在股市技術(shù)分析中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2004年11期

4 文俊浩,胡顯芝,何光輝,徐玲;小波在數(shù)據(jù)挖掘算法中的運(yùn)用[J];重慶大學(xué)學(xué)報(自然科學(xué)版);2004年12期

5 鄒志文,朱金偉;數(shù)據(jù)挖掘算法研究與綜述[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年09期

6 趙澤茂,何坤金,胡友進(jìn);基于距離的異常數(shù)據(jù)挖掘算法及其應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2005年09期

7 趙晨,諸靜;過程控制中的一種數(shù)據(jù)挖掘算法[J];武漢大學(xué)學(xué)報(工學(xué)版);2005年05期

8 王振華,柴玉梅;基于決策樹的分布式數(shù)據(jù)挖掘算法研究[J];河南科技;2005年02期

9 胡作霆;董蘭芳;王洵;;圖的數(shù)據(jù)挖掘算法研究[J];計(jì)算機(jī)工程;2006年03期

10 宋中山;吳立鋒;;增量數(shù)據(jù)挖掘算法在區(qū)域交通管理中的應(yīng)用[J];武漢理工大學(xué)學(xué)報(交通科學(xué)與工程版);2006年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 賀煒;邢春曉;潘泉;;因果不完備條件下的數(shù)據(jù)挖掘算法[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

2 劉玲;張興會;;基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘算法研究[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議專刊[C];2008年

3 陳曦;曾凡鋒;;數(shù)據(jù)挖掘算法在風(fēng)險評估中的應(yīng)用[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會議論文集（上冊）[C];2007年

4 郭新宇;梁循;;大型數(shù)據(jù)庫中數(shù)據(jù)挖掘算法SLIQ的研究及仿真[A];2004年中國管理科學(xué)學(xué)術(shù)會議論文集[C];2004年

5 張沫;欒媛媛;秦培玉;羅丹;;基于聚類算法的多維客戶行為細(xì)分模型研究與實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

6 潘國林;楊帆;;數(shù)據(jù)挖掘算法在保險客戶分析中的應(yīng)用[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（上冊）[C];2009年

7 張乃岳;張力;張學(xué)燕;;基于字段匹配的CRM數(shù)據(jù)挖掘算法與應(yīng)用[A];邏輯學(xué)及其應(yīng)用研究——第四屆全國邏輯系統(tǒng)、智能科學(xué)與信息科學(xué)學(xué)術(shù)會議論文集[C];2008年

8 祖巧紅;陳定方;胡吉全;;客戶分析中的數(shù)據(jù)挖掘算法比較研究[A];12省區(qū)市機(jī)械工程學(xué)會2006年學(xué)術(shù)年會湖北省論文集[C];2006年

9 李怡凌;馬亨冰;;一種基于本體的關(guān)聯(lián)規(guī)則挖掘算法[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

10 盛立;劉希玉;高明;;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[A];山東省計(jì)算機(jī)學(xué)會2005年信息技術(shù)與信息化研討會論文集（二）[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 ;選擇合適的數(shù)據(jù)挖掘算法[N];計(jì)算機(jī)世界;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 陳云開;基于粗糙集和聚類的數(shù)據(jù)挖掘算法及其在反洗錢中的應(yīng)用研究[D];華中科技大學(xué);2007年

2 張靜;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[D];西北工業(yè)大學(xué);2006年

3 沙朝鋒;基于信息論的數(shù)據(jù)挖掘算法[D];復(fù)旦大學(xué);2008年

4 梁瑾;模糊粗糙單調(diào)數(shù)據(jù)挖掘算法及在污水處理中應(yīng)用研究[D];華南理工大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 謝亞鑫;基于Hadoop的數(shù)據(jù)挖掘算法的研究[D];華北電力大學(xué);2015年

2 彭軍;基于新型異構(gòu)計(jì)算平臺的數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 楊維;基于Hadoop的健康物聯(lián)網(wǎng)數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

4 孫兵率;基于MapReduce的數(shù)據(jù)挖掘算法并行化研究與應(yīng)用[D];西安工程大學(xué);2015年

5 張永芳;基于Hadoop平臺的并行數(shù)據(jù)挖掘算法研究[D];安徽理工大學(xué);2016年

6 李圍成;基于FP-樹的時空數(shù)據(jù)挖掘算法研究[D];河南工業(yè)大學(xué);2016年

7 官凱;基于MapReduce的圖挖掘研究[D];貴州師范大學(xué);2016年

8 陳名輝;基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D];湖南師范大學(xué);2016年

9 劉少龍;面向大數(shù)據(jù)的高效數(shù)據(jù)挖掘算法研究[D];華北電力大學(xué)(北京);2016年

10 孫孝萍;基于聚類分析的數(shù)據(jù)挖掘算法研究[D];西南石油學(xué)院;2002年

，

本文編號：1204522