本文關(guān)鍵詞： 不良網(wǎng)頁 文本分類 K最近鄰分類算法 Hadoop MapReduce　出處：《計算機應(yīng)用》2013年12期 　論文類型：期刊論文

【摘要】：互聯(lián)網(wǎng)中,黃色、暴力、賭博、反動等不良網(wǎng)頁大量存在。如果不進行有效過濾,將給搜索服務(wù)帶來不良的影響。采用改進的K最近鄰分類算法來提高識別的準確率,并在虛擬化平臺上通過開源的Hadoop軟件所提供的MapReduce模型進行分布式并行處理。對比實驗結(jié)果表明,所采用的識別方法的識別準確率和識別效率都有較大的提高。
[Abstract]:Internet, yellow, violence, gambling, reactionary and other bad web pages exist in large numbers. If not effectively filtered. The improved K-nearest neighbor classification algorithm is used to improve the recognition accuracy. And on the virtualization platform through the open source Hadoop software provided by the MapReduce model for distributed parallel processing. The recognition accuracy and efficiency of the method are improved greatly.
【作者單位】： 北京信息科技大學(xué)計算機學(xué)院;網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室(北京信息科技大學(xué));
【基金】：國家社會科學(xué)基金重大項目(12&ZD234) 國家自然科學(xué)基金資助項目(60973107) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室資助項目(ICDD201106,ICDD201207)
【分類號】：TP393.092
【正文快照】： 0引言隨著互聯(lián)網(wǎng)覆蓋范圍和應(yīng)用人群的不斷擴大,以及帶寬的逐漸增加,給人們的工作、生活和學(xué)習(xí)帶來了很大的便利。但隨之而來的,也涌現(xiàn)了包含大量黃色、暴力、賭博甚至是反動內(nèi)容的網(wǎng)頁,而且這類不良網(wǎng)頁信息正在全球范圍內(nèi)呈現(xiàn)蔓延和泛濫之勢。有些不良網(wǎng)頁為了避免被禁止訪

【參考文獻】

相關(guān)期刊論文 前2條

1 吳慧玲;沈建京;賀廣生;;基于不良文本信息過濾預(yù)處理方法的研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2006年11期

2 楊曉懿 ,劉嘉勇;基于內(nèi)容的信息安全過濾技術(shù)[J];信息網(wǎng)絡(luò)安全;2004年04期

【共引文獻】

相關(guān)期刊論文 前4條

1 劉紅芝;;中文分詞技術(shù)的研究[J];電腦開發(fā)與應(yīng)用;2010年03期

2 曹毅;賀衛(wèi)紅;;基于向量空間模型的信息安全過濾系統(tǒng)[J];計算機工程與設(shè)計;2006年02期

3 吳慧玲;耿西偉;沈建京;賀廣生;;一種不良信息過濾的文本預(yù)處理方法研究[J];微計算機信息;2006年36期

4 吳慧玲;沈建京;賀廣生;;基于不良文本信息過濾預(yù)處理方法的研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2006年11期

相關(guān)碩士學(xué)位論文 前8條

1 金勇;網(wǎng)絡(luò)信息內(nèi)容監(jiān)控技術(shù)及應(yīng)用研究[D];四川大學(xué);2005年

2 黃果;文本信息檢索模型研究[D];西南大學(xué);2007年

3 張瓊;Web主題網(wǎng)頁內(nèi)容安全監(jiān)管研究[D];西安電子科技大學(xué);2008年

4 王亞非;SIP通信網(wǎng)絡(luò)監(jiān)聽系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2008年

5 牛洪波;基于文本分類技術(shù)的信息過濾方法的研究[D];哈爾濱理工大學(xué);2008年

6 邱思衡;無線互聯(lián)網(wǎng)不良信息過濾系統(tǒng)的研究與設(shè)計[D];北京郵電大學(xué);2009年

7 王雷;基于內(nèi)容識別的不良網(wǎng)頁雙重過濾方法研究[D];吉林大學(xué);2012年

8 范榮輝;WCDMA網(wǎng)絡(luò)下的移動互聯(lián)網(wǎng)內(nèi)容信息安全解決方案研究[D];中山大學(xué);2013年

【二級參考文獻】

相關(guān)期刊論文 前3條

1 張永奎,李東艷;互聯(lián)網(wǎng)中非法文本特征分析及其屬性預(yù)選取新方法[J];計算機應(yīng)用;2004年04期

2 孫強;李建華;李生紅;;基于一類分類法的不良信息過濾模型[J];上海交通大學(xué)學(xué)報;2005年12期

3 楊曉懿 ,劉嘉勇;基于內(nèi)容的信息安全過濾技術(shù)[J];信息網(wǎng)絡(luò)安全;2004年04期

【相似文獻】

相關(guān)期刊論文 前10條

1 張燕;寒楓;楚紅濤;;文本挖掘簡述[J];中國電力教育;2006年S3期

2 李鈍,梁吉業(yè);利用聚類和粗糙集進行文本分類研究[J];計算機工程與應(yīng)用;2003年07期

3 謝世朋,胡茂林;對特定區(qū)域搜索引擎的自動分類系統(tǒng)的研究[J];微機發(fā)展;2005年09期

4 鐘延輝;傅彥;陳安龍;關(guān)娜;;基于抽樣的垃圾短信過濾方法[J];計算機應(yīng)用研究;2009年03期

5 王強;賈銀山;;支持向量機及其在郵件過濾中的應(yīng)用[J];微處理機;2010年03期

6 王冠,裘正定;結(jié)合中文網(wǎng)頁自動分類系統(tǒng)的AIP平臺[J];微機發(fā)展;2005年03期

7 吳楚坤;吳揚揚;;基于關(guān)聯(lián)規(guī)則挖掘的中文網(wǎng)頁體裁模式發(fā)現(xiàn)[J];計算機工程與科學(xué);2008年12期

8 王昌厚;羅永蓮;;基于突發(fā)事件新聞網(wǎng)頁的文本分類方法研究[J];長治學(xué)院學(xué)報;2006年02期

9 譚建龍;張吉;郭莉;;基于通用后綴樹模型的垃圾郵件過濾方法[J];計算機工程;2007年09期

10 熊忠陽;杜圣東;張玉芳;;一種改進的支持向量機郵件分類器[J];計算機科學(xué);2007年09期

相關(guān)會議論文 前10條

1 劉秉權(quán);李博;孫林;王寶勛;劉遠超;;標簽特征和正文特征融合的SVM博客文本分類算法研究[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

2 王巖;;基于內(nèi)容的垃圾郵件過濾技術(shù)[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（中）[C];2009年

3 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過濾研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

4 潘文鋒;王斌;于滿泉;譚松波;;Winnow算法在垃圾郵件過濾中的應(yīng)用[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

5 劉曉勇;;基于GA與SVM融合的網(wǎng)頁分類算法[A];中國運籌學(xué)會模糊信息與模糊工程分會第五屆學(xué)術(shù)年會論文集[C];2010年

6 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

7 江濤;于洪志;徐濤;;互聯(lián)網(wǎng)藏文內(nèi)容安全檢測過濾系統(tǒng)研究[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十四卷）[C];2009年

8 劉子豪;莊毅;;一種電子郵件敏感信息檢測算法[A];第八屆全國信息隱藏與多媒體安全學(xué)術(shù)大會湖南省計算機學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

9 郎加云;胡學(xué)鋼;;電子郵件內(nèi)容過濾的相關(guān)特征研究[A];全國第21屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

10 張海雷;王會珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過濾技術(shù)比較分析[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

相關(guān)重要報紙文章 前1條

1 應(yīng)曉敏 竇文華;技術(shù)架構(gòu)[N];計算機世界;2003年

相關(guān)博士學(xué)位論文 前9條

1 萬源;基于語義統(tǒng)計分析的網(wǎng)絡(luò)輿情挖掘技術(shù)研究[D];武漢理工大學(xué);2012年

2 胡燕;基于Web信息抽取的專業(yè)知識獲取方法研究[D];武漢理工大學(xué);2007年

3 張長利;面向特定領(lǐng)域的互聯(lián)網(wǎng)輿情分析技術(shù)研究[D];吉林大學(xué);2011年

4 宗校軍;中文網(wǎng)頁定題采集及分類研究[D];華中科技大學(xué);2006年

5 萬國根;面向內(nèi)容的網(wǎng)絡(luò)安全監(jiān)控模型及其關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2005年

6 譚建龍;串匹配算法及其在網(wǎng)絡(luò)內(nèi)容分析中的應(yīng)用[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2003年

7 孫建濤;Web挖掘中的降維和分類方法研究[D];清華大學(xué);2005年

8 陳彬;垃圾郵件的特征選擇及檢測方法研究[D];華南理工大學(xué);2010年

9 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 楊昂;文本分類算法研究[D];湖南大學(xué);2002年

2 袁野;基于Vague集的網(wǎng)絡(luò)輿情研究[D];西安電子科技大學(xué);2010年

3 謝振亮;基于WEB挖掘技術(shù)的網(wǎng)頁自動分類和聚類的研究[D];天津大學(xué);2004年

4 陳應(yīng)友;基于hadoop的微博文本分類及商業(yè)詞抽取[D];杭州電子科技大學(xué);2013年

5 楊盛;電子郵件過濾系統(tǒng)的研究與設(shè)計[D];中南大學(xué);2005年

6 楊麗華;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];西南交通大學(xué);2006年

7 曾志中;基于貝葉斯算法的垃圾郵件過濾系統(tǒng)的分析與實現(xiàn)[D];北京郵電大學(xué);2009年

8 張匯;基于貝葉斯的網(wǎng)頁文本分類算法[D];華中科技大學(xué);2004年

9 劉建波;基于Agent的用戶興趣模型的研究[D];沈陽工業(yè)大學(xué);2005年

10 朱軍;中文垃圾郵件過濾技術(shù)研究及應(yīng)用[D];合肥工業(yè)大學(xué);2005年

，

本文編號：1488320