【摘要】：隨著大數(shù)據(jù)時代的到來,大規(guī)模多標(biāo)簽數(shù)據(jù)挖掘方法受到廣泛關(guān)注。多標(biāo)簽最近鄰算法MLKNN是一種簡單高效、應(yīng)用廣泛的多標(biāo)簽分類方法,其分類精度在很多應(yīng)用中都高于其他常見的多標(biāo)簽學(xué)習(xí)方法。然而隨著需要處理的數(shù)據(jù)規(guī)模越來越大,傳統(tǒng)串行ML-KNN算法已經(jīng)難以滿足大數(shù)據(jù)應(yīng)用中時間和存儲空間上的限制。結(jié)合Spark的并行機制和其基于內(nèi)存的迭代計算特點,提出了一種基于Spark并行框架的ML-KNN算法SML-KNN。在Map階段分別找到待預(yù)測樣本每個分區(qū)的K近鄰,隨后Reduce階段根據(jù)每個分區(qū)的近鄰集合確定最終的K近鄰,最后并行地對近鄰的標(biāo)簽集合進行聚合,通過最大化后驗概率準(zhǔn)則輸出待預(yù)測樣本的目標(biāo)標(biāo)簽集合。串行和并行環(huán)境下的對比實驗結(jié)果表明,SML-KNN在保證分類精度的前提下性能與計算資源呈近似線性關(guān)系,提高了ML-KNN算法對大規(guī)模多標(biāo)簽數(shù)據(jù)的處理能力。
[Abstract]:With the arrival of big data era, large-scale multi-label data mining methods have received extensive attention. Multi-label nearest neighbor algorithm (MLKNN) is a simple, efficient and widely used multi-label classification method, and its classification accuracy is higher than other common multi-label learning methods in many applications. However, with the increasing scale of data to be processed, the traditional serial ML-KNN algorithm has been difficult to meet the time and storage space constraints in big data's application. Combined with the parallel mechanism of Spark and the characteristics of iterative computation based on memory, a ML-KNN algorithm SML-KNN. based on Spark parallel framework is proposed. The K nearest neighbors of each partition are found in the Map phase, and then the final K nearest neighbors are determined according to the nearest neighbor sets of each partition in the Reduce phase. Finally, the label sets of the nearest neighbors are aggregated in parallel. The target label set of samples to be predicted is outputted by maximizing the posterior probability criterion. The experimental results in serial and parallel environments show that the performance of SML-KNN is approximately linear with computing resources on the premise of ensuring the accuracy of classification, which improves the processing ability of ML-KNN algorithm to large-scale multi-label data.
【作者單位】： 重慶郵電大學(xué)計算智能重慶市重點實驗室;
【基金】：重慶市基礎(chǔ)與前沿研究計劃項目(csts2014jcyjA40001,cstc2014jcyjA40022) 重慶市教委科學(xué)技術(shù)研究項目(自然科學(xué)類)(KJ1400436)
【分類號】：TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 宋杰;;蛋白質(zhì)亞細胞定位預(yù)測的最近鄰算法[J];計算機應(yīng)用研究;2007年11期

2 張瑞民;郭海剛;李培巒;;基于核的k最近鄰算法[J];華北水利水電學(xué)院學(xué)報;2007年06期

3 潘世瑞;張陽;李雪;王勇;;針對不確定正例和未標(biāo)記學(xué)習(xí)的最近鄰算法(英文)[J];計算機科學(xué)與探索;2010年09期

4 李強;蔣靜坪;;量子K最近鄰算法[J];系統(tǒng)工程與電子技術(shù);2008年05期

5 宋杰;;蛋白質(zhì)相互作用預(yù)測的核最近鄰算法[J];計算機應(yīng)用研究;2009年11期

6 周武;趙春霞;張浩峰;;動態(tài)聯(lián)合最近鄰算法[J];電子學(xué)報;2010年02期

7 于學(xué)斗;;基于核的K-最近鄰算法的主動式防御研究[J];計算機安全;2009年07期

8 楊夢雄;楊貫中;;基于K-最近鄰算法的話務(wù)智能預(yù)測技術(shù)[J];科學(xué)技術(shù)與工程;2007年21期

9 陳凱;王立松;;一種新的加權(quán)最近鄰算法的降水預(yù)報試驗[J];計算機仿真;2014年06期

10 謝金晶;張藝瀕;;基于改進的K-最近鄰算法的病毒檢測方法[J];現(xiàn)代電子技術(shù);2007年03期

相關(guān)會議論文 前2條

1 潘世瑞;張陽;李雪;王勇;;針對不確定正例和未標(biāo)記學(xué)習(xí)的最近鄰算法(英文)[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集A輯二[C];2010年

2 周曉丹;馮少榮;薛永生;;一種基于改進最近鄰算法的缺失數(shù)據(jù)處理[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

相關(guān)碩士學(xué)位論文 前1條

1 陳煜;基于多維度量的出租車推薦系統(tǒng)的研究與實現(xiàn)[D];大連理工大學(xué);2015年

，

本文編號：2470875