本文關(guān)鍵詞： k-means 并行化 文本聚類 Spark RDD Hadoop MapReduce　出處：《中文信息學報》2017年04期 　論文類型：期刊論文

【摘要】：互聯(lián)網(wǎng)文本數(shù)據(jù)量的激增使得對其作聚類運算的處理時間顯著加長,雖有研究者利用Hadoop架構(gòu)進行了k-means并行化研究,但由于很難有效滿足k-means需要頻繁迭代的特點,因此執(zhí)行效率仍然不能讓人滿意。該文研究提出了基于新一代并行計算系統(tǒng)Spark的k-means文本聚類并行化算法,利用RDD編程模型充分滿足了kmeans頻繁迭代運算的需求。實驗結(jié)果表明,針對同一聚類文本大數(shù)據(jù)集和同樣的計算環(huán)境,基于Spark的kmeans文本聚類并行算法在加速比、擴展性等主要性能指標上明顯優(yōu)于基于Hadoop的實現(xiàn),因此能更好地滿足大規(guī)模文本數(shù)據(jù)挖掘算法的需求。
[Abstract]:Because of the rapid increase of Internet text data volume, the processing time of clustering operation is significantly longer. Although some researchers use the Hadoop architecture to study k-means parallelization, it is difficult to effectively meet the needs of k-means frequent iterations. Therefore, the execution efficiency is still not satisfactory. In this paper, a k-means text clustering parallelization algorithm based on a new generation of parallel computing system Spark is proposed, and the RDD programming model is used to fully meet the needs of frequent iterations of kmeans. The experimental results show that, For the same clustering text big data set and the same computing environment, the kmeans text clustering parallel algorithm based on Spark is obviously superior to the implementation based on Hadoop in speedup, expansibility and other main performance indexes. Therefore, it can better meet the needs of large-scale text data mining algorithms.
【作者單位】： 中國礦業(yè)大學物聯(lián)網(wǎng)(感知礦山)研究中心;礦山互聯(lián)網(wǎng)應用技術(shù)國家地方聯(lián)合工程實驗室;中國礦業(yè)大學信息與電氣工程學院;
【基金】：國家自然科學基金(41302203)
【分類號】：TP391.1

【相似文獻】

相關(guān)期刊論文 前10條

1 林春燕,朱東華;一種快速的文本聚類-分類法[J];計算機工程與科學;2004年07期

2 趙亞琴;周獻中;;一種基于小生境遺傳算法的中文文本聚類新方法[J];計算機工程;2006年06期

3 劉務華;羅鐵堅;王文杰;;文本聚類技術(shù)的有效性驗證[J];計算機工程;2007年01期

4 丁X;許侃;;基于文本聚類方法的我國科技管理研究領(lǐng)域的計量研究[J];科學學研究;2007年S1期

5 孫愛香;楊鑫華;;關(guān)于文本聚類有效性評價的研究[J];山東理工大學學報(自然科學版);2007年05期

6 丘志宏;宮雷光;;利用上下文提高文本聚類的效果[J];中文信息學報;2007年06期

7 吳啟明;易云飛;;文本聚類綜述[J];河池學院學報;2008年02期

8 李江華;楊書新;劉利峰;;基于概念格的文本聚類[J];計算機應用;2008年09期

9 趙文鵬;;淺談文本聚類研究[J];企業(yè)家天地下半月刊(理論版);2009年02期

10 章成志;;文本聚類結(jié)果描述研究綜述[J];現(xiàn)代圖書情報技術(shù);2009年02期

相關(guān)會議論文 前10條

1 趙世奇;劉挺;李生;;一種基于主題的文本聚類方法[A];第三屆學生計算語言學研討會論文集[C];2006年

2 王洪俊;俞士汶;蘇祺;施水才;肖詩斌;;中文文本聚類的特征單元比較[A];第二屆全國信息檢索與內(nèi)容安全學術(shù)會議（NCIRCS-2005）論文集[C];2005年

3 胡吉祥;許洪波;劉悅;王斌;程學旗;;基于重復串的短文本聚類研究[A];全國第八屆計算語言學聯(lián)合學術(shù)會議（JSCL-2005）論文集[C];2005年

4 白剛;張錚;丁宗堯;朱毅;;中文文本聚類在互聯(lián)網(wǎng)搜索的研究與應用[A];第三屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2007年

5 張猛;王大玲;于戈;;一種基于自動閾值發(fā)現(xiàn)的文本聚類方法[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2004年

6 王樂;田李;賈焰;韓偉紅;;一個并行的文本聚類混合算法[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2007年

7 章成志;;基于多語文本聚類的主題層次體系生成研究1)[A];國家自然科學基金委員會管理科學部宏觀管理與政策學科青年基金獲得者交流研討會論文集[C];2010年

8 邱立坤;程葳;龍志yN;孫嬌華;;面向BBS的話題挖掘初探[A];全國第八屆計算語言學聯(lián)合學術(shù)會議（JSCL-2005）論文集[C];2005年

9 羅娜;左萬利;袁福宇;張靖波;張慧杰;;使用本體語義提高文本聚類(英文)[A];全國語域web與本體能研討會論文集[C];2006年

10 孫承杰;朱文煥;林磊;劉遠超;;BBS短文本聚類技術(shù)研究[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

相關(guān)博士學位論文 前3條

1 徐森;文本聚類集成關(guān)鍵技術(shù)研究[D];哈爾濱工程大學;2010年

2 高茂庭;文本聚類分析若干問題研究[D];天津大學;2007年

3 孟憲軍;互聯(lián)網(wǎng)文本聚類與檢索技術(shù)研究[D];哈爾濱工業(yè)大學;2009年

相關(guān)碩士學位論文 前10條

1 康健;基于Multi-agent和群體智能的藏文網(wǎng)絡輿情管理研究[D];西南交通大學;2015年

2 張培偉;基于改進Single-Pass算法的熱點話題發(fā)現(xiàn)系統(tǒng)的設計與實現(xiàn)[D];華中師范大學;2015年

3 郭士串;結(jié)合權(quán)重因子與特征向量的文本聚類研究與應用[D];江西理工大學;2015年

4 邵明來;中文文本聚類關(guān)鍵技術(shù)研究[D];廣西大學;2015年

5 王恒靜;基于詞類和搭配的微博輿情文本聚類方法研究[D];江蘇科技大學;2015年

6 吳潔潔;基于RI方法的文本聚類研究[D];南昌大學;2015年

7 樊兆欣;個性化新聞推薦系統(tǒng)關(guān)鍵技術(shù)研究與實現(xiàn)[D];北京理工大學;2015年

8 蘇圣瞳;微博熱點話題發(fā)現(xiàn)系統(tǒng)的設計與實現(xiàn)[D];復旦大學;2014年

9 孫東普;融合屬性抽取的多粒度專利文本聚類研究[D];大連理工大學;2015年

10 李蕓;基于爬蟲和文本聚類分析的網(wǎng)絡輿情分析系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

，

本文編號：1531160