本文選題：KNN + 非均衡局部敏感哈希��； 參考：《微電子學(xué)與計算機(jī)》2017年12期

【摘要】：針對KNN分類算法在面對海量文本處理時效率低下的問題,提出了一種基于超平面的非均衡局部敏感哈希分類算法,該分類算法相比于傳統(tǒng)的局部敏感哈希算法在提高分類的準(zhǔn)確性和實(shí)時性上有顯著的效果.同時,為了進(jìn)一步降低分類算法的執(zhí)行時間,提高分類效率,將該分類算法與Spark并行計算模型結(jié)合,在大數(shù)據(jù)處理平臺Hadoop上實(shí)現(xiàn)了一種高效的并行文本分類系統(tǒng).實(shí)驗結(jié)果表明,所設(shè)計的文本分類系統(tǒng)在具有較高分類速度的同時保持了較高的分類準(zhǔn)確性.
[Abstract]:In order to solve the problem of low efficiency of KNN classification algorithm in the face of massive text processing, a hyperplane-based local sensitive hash classification algorithm is proposed. Compared with the traditional local sensitive hashing algorithm, the proposed algorithm can improve the accuracy and real-time performance of the classification. At the same time, in order to further reduce the execution time of the classification algorithm and improve the classification efficiency, the classification algorithm is combined with the Spark parallel computing model, and an efficient parallel text classification system is implemented on the big data processing platform Hadoop. The experimental results show that the proposed text classification system has higher classification speed and higher classification accuracy.
【作者單位】： 南京工業(yè)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;
【分類號】：TP391.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳敏,湯曉安;在Microsoft Access中引入文本文件[J];微型電腦應(yīng)用;1995年02期

2 李盛瑜;何文;;一種對聊天文本進(jìn)行特征選取的方法研究[J];計算機(jī)科學(xué);2007年05期

3 蔣志方;祝翠玲;吳強(qiáng);;一個對不帶類別標(biāo)記文本進(jìn)行分類的方法[J];計算機(jī)工程;2007年12期

4 趙鋼;;從復(fù)雜文本中導(dǎo)入數(shù)據(jù)的方法[J];中國審計;2007年18期

5 易樹鴻;張為群;;一種基于粗集的文本數(shù)據(jù)特征信息的挖掘方法[J];計算機(jī)科學(xué);2002年08期

6 李建中,楊艷,張艷秋;并行文本管理原型系統(tǒng)PDoc的功能與總體框架[J];哈爾濱工業(yè)大學(xué)學(xué)報;2004年09期

7 覃曉;元昌安;彭昱忠;丁超;;基于基因表達(dá)式編程的Web文本分類研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2009年03期

8 諶志群;;文本趨勢挖掘綜述[J];情報科學(xué);2010年02期

9 王亞民;劉洋;;含附件文本的分類算法研究[J];情報雜志;2012年08期

10 江偉;潘昊;;基于優(yōu)化的多核學(xué)習(xí)方法的Web文本分類的研究[J];計算機(jī)技術(shù)與發(fā)展;2013年10期

相關(guān)會議論文 前10條

1 許君;王朝坤;劉立超;王建民;劉璋;;云環(huán)境中的近似復(fù)制文本檢測[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 易天元;葉春生;;工業(yè)鍋爐圖紙輸入的文本數(shù)據(jù)處理[A];1997中國控制與決策學(xué)術(shù)年會論文集[C];1997年

3 胡蓉;唐常杰;陳敏敏;欒江;;關(guān)聯(lián)規(guī)則制導(dǎo)的遺傳算法在文本分類中的應(yīng)用[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2002年

4 李文波;孫樂;黃瑞紅;馮元勇;張大鯤;;基于Labeled-LDA模型的文本分類新算法[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

5 黃云平;孫樂;李文波;;基于上下文圖模型文本表示的文本分類研究[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

6 蔣勇;陳曉靜;;一種多方向手寫文本行提取方法[A];第二十七屆中國控制會議論文集[C];2008年

7 朱芳芳;李訓(xùn)根;;改進(jìn)的哈希表查找算法[A];浙江省電子學(xué)會2013學(xué)術(shù)年會論文集[C];2013年

8 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復(fù)制文本檢測[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(B輯)[C];2010年

9 胡俊;黃厚寬;;一種基于SVM的可視化文本分類的方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

10 江荻;;藏語文本信息處理的歷程與進(jìn)展[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

相關(guān)重要報紙文章 前3條

1 戴洪玲;向Excel中快速輸入相同文本[N];中國電腦教育報;2004年

2 本報記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計算機(jī)報;2013年

3 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機(jī)世界;2012年

相關(guān)博士學(xué)位論文 前10條

1 宋歌;基于聚類森林的文本流分類方法研究[D];哈爾濱工業(yè)大學(xué);2014年

2 韓開旭;基于支持向量機(jī)的文本情感分析研究[D];東北石油大學(xué);2014年

3 鄭立洲;短文本信息抽取若干技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

4 韓磊;漢語句義結(jié)構(gòu)模型分析及其文本表示方法研究[D];北京理工大學(xué);2016年

5 張博宇;基于局部特征的場景文本分析方法研究[D];哈爾濱工業(yè)大學(xué);2015年

6 胡卉芪;空間文本數(shù)據(jù)的量質(zhì)融合與推送[D];清華大學(xué);2016年

7 胡明涵;面向領(lǐng)域的文本分類與挖掘關(guān)鍵技術(shù)研究[D];東北大學(xué)　;2009年

8 孫曉華;基于聚類的文本機(jī)會發(fā)現(xiàn)關(guān)鍵問題研究[D];哈爾濱工程大學(xué);2010年

9 尚文倩;文本分類及其相關(guān)技術(shù)研究[D];北京交通大學(xué);2007年

10 霍躍紅;典籍英譯譯者文體分析與文本的譯者識別[D];大連理工大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 金傳鑫;氣象文本分類特征選擇方法及其在MapReduce上的實(shí)現(xiàn)[D];南京信息工程大學(xué);2015年

2 李少卿;不良文本及其變體信息的檢測過濾技術(shù)研究[D];復(fù)旦大學(xué);2014年

3 董秦濤;基于文本的個人情感狀態(tài)分析研究[D];蘭州大學(xué);2015年

4 鐘文波;搜索引擎中關(guān)鍵詞分類方法評估及推薦應(yīng)用[D];華南理工大學(xué);2015年

5 黃晨;基于新詞識別和時間跨度的微博熱點(diǎn)研究[D];上海交通大學(xué);2015年

6 陳紅陽;中文微博話題發(fā)現(xiàn)技術(shù)研究[D];重慶理工大學(xué);2015年

7 王s，

本文編號：1984092