本文關(guān)鍵詞：基于社會計(jì)算和機(jī)器學(xué)習(xí)的垃圾郵件快速過濾

  更多相關(guān)文章： 社會計(jì)算 垃圾郵件過濾 云計(jì)算 Hadoop MapReduce

【摘要】：在對當(dāng)前垃圾郵件過濾方法進(jìn)行研究和分析的基礎(chǔ)上,本文將社交網(wǎng)絡(luò)的概念用于垃圾郵件識別,并提出了一種將社會計(jì)算和機(jī)器學(xué)習(xí)相結(jié)合的垃圾郵件過濾方法,以減少垃圾郵件的誤判率.為了提高郵件過濾的實(shí)時性,我們利用Hadoop平臺所提供的MapReduce模型進(jìn)行分布式并行處理.對比實(shí)驗(yàn)結(jié)果表明,我們所采用的識別方法的識別準(zhǔn)確率和識別效率都有較大的提高,尤其是降低了正常郵件的誤判率.
【作者單位】： 北京信息科技大學(xué)計(jì)算機(jī)學(xué)院;北京信息科技大學(xué)
【關(guān)鍵詞】： 社會計(jì)算 垃圾郵件過濾 云計(jì)算 Hadoop MapReduce
【基金】：國家自然科學(xué)基金(61370139) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目(ICDD201309)
【分類號】：TP393.098
【正文快照】： i引言電子郵件服務(wù)誕生以來,一直在網(wǎng)絡(luò)交流溝通中扮演著重要的角色.但是.它包含大量推銷廣告或不良信息.甚至是木馬病毒的垃圾郵件日益泛濫,嚴(yán)重影響了人們的通信感受.垃圾郵件不僅使用戶花費(fèi)大量的時間和精力來處理,還占用了大量的服務(wù)器空間和帶寬資源,并且存在諸多的安全

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 孫凌宇;冷明;譚云蘭;郁松年;;賦權(quán)有向圖的最小生成樹算法[J];計(jì)算機(jī)工程;2010年02期

2 戴勁松;白英彩;;基于貝葉斯理論的垃圾郵件過濾技術(shù)[J];計(jì)算機(jī)應(yīng)用與軟件;2006年01期

3 王斌,潘文鋒;基于內(nèi)容的垃圾郵件過濾技術(shù)綜述[J];中文信息學(xué)報;2005年05期

4 胡燕;滕桂法;董素芬;王聃;;基于MIME郵件結(jié)構(gòu)的郵件內(nèi)容提取技術(shù)的研究[J];現(xiàn)代圖書情報技術(shù);2008年05期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 程衛(wèi)華;尤晉元;;基于內(nèi)容過濾的反垃圾郵件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2007年03期

2 易軍凱;顏婷婷;;垃圾郵件的改進(jìn)貝葉斯過濾算法[J];北京化工大學(xué)學(xué)報(自然科學(xué)版);2008年06期

3 黃文良;李石堅(jiān);劉菊新;徐從富;;一個大規(guī)模垃圾短信實(shí)時過濾系統(tǒng)[J];北京郵電大學(xué)學(xué)報;2008年03期

4 董振興;李榮;陳龍;;一種基于主動學(xué)習(xí)和TCM-EKNN的郵件過濾方法[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2011年01期

5 鄧文韜;王國胤;董振興;;一種改進(jìn)KNN個性化郵件過濾的方法[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2011年06期

6 劉洋;曹津?qū)?劉昊;秦玉平;;基于貝葉斯方法的垃圾郵件處理模型研究[J];長春工程學(xué)院學(xué)報(自然科學(xué)版);2007年03期

7 沈競;蔣僑;;DSTFA分布式短文本過濾算法[J];四川兵工學(xué)報;2011年10期

8 田林;;基于SMTP會話控制的主動式垃圾郵件過濾技術(shù)的研究[J];楚雄師范學(xué)院學(xué)報;2009年06期

9 孫晶濤;張秋余;袁占亭;董建設(shè);;博弈論在郵件特征選擇中的應(yīng)用[J];電子科技大學(xué)學(xué)報;2011年01期

10 莊鎖法;陳興梅;;客戶端防范垃圾郵件策略的探討[J];電腦知識與技術(shù);2006年23期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 王琦;;基于貝葉斯決策樹算法的垃圾郵件識別機(jī)制[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

2 張艷;李毅;顧健;;垃圾郵件與反垃圾郵件新技術(shù)追蹤[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

3 黃文良;李石堅(jiān);劉菊新;徐從富;;大規(guī)模垃圾短信實(shí)時過濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

4 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應(yīng)用分析[A];中國造船工程學(xué)會電子技術(shù)學(xué)術(shù)委員會2006學(xué)術(shù)年會論文集（上冊）[C];2006年

5 蘇綏;林鴻飛;葉正;;基于字符語言模型的垃圾郵件過濾[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

6 李勁;岳昆;杭菲璐;;一種基于自適應(yīng)Markov模型的中文垃圾郵件過濾方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

7 吳昊;;基于Lucene技術(shù)的郵件取證技術(shù)研究[A];第28次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學(xué);2010年

2 劉伍穎;面向垃圾信息過濾的主動多域?qū)W習(xí)文本分類方法研究[D];國防科學(xué)技術(shù)大學(xué);2011年

3 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年

4 何申;面向3G移動通信網(wǎng)絡(luò)的安全框架研究[D];中國科學(xué)技術(shù)大學(xué);2007年

5 劉震;垃圾郵件過濾理論和關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2008年

6 黃文良;垃圾短信過濾關(guān)鍵技術(shù)研究[D];浙江大學(xué);2008年

7 陳黎飛;高維數(shù)據(jù)的聚類方法研究與應(yīng)用[D];廈門大學(xué);2008年

8 惠孛;基于即時分類的垃圾郵件過濾關(guān)鍵技術(shù)的研究[D];電子科技大學(xué);2009年

9 李東方;Web 2.0環(huán)境下互聯(lián)網(wǎng)信息過濾理論與方法研究[D];中國科學(xué)技術(shù)大學(xué);2009年

10 陳彬;垃圾郵件的特征選擇及檢測方法研究[D];華南理工大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 岳廣飛;基于二次搜索的搜索引擎技術(shù)研究[D];山東科技大學(xué);2010年

2 劉維會;不平衡數(shù)據(jù)集上支持向量機(jī)算法研究[D];山東科技大學(xué);2010年

3 于洪霞;基于SVM的中文垃圾郵件過濾[D];哈爾濱工程大學(xué);2009年

4 李福轉(zhuǎn);基于內(nèi)容的垃圾郵件過濾技術(shù)的研究[D];電子科技大學(xué);2010年

5 石晶;一種高效垃圾短信過濾系統(tǒng)的實(shí)現(xiàn)[D];電子科技大學(xué);2010年

6 蘇保君;在線組合分類器應(yīng)用于大規(guī)模垃圾郵件過濾的研究[D];浙江大學(xué);2010年

7 江華麗;基于嵌入式與神經(jīng)網(wǎng)絡(luò)的郵件過濾系統(tǒng)設(shè)計(jì)[D];福建師范大學(xué);2010年

8 徐麗平;基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)研究[D];東北財(cái)經(jīng)大學(xué);2010年

9 王海波;垃圾短信的屏蔽機(jī)制與應(yīng)用研究[D];東華大學(xué);2011年

10 陳強(qiáng);基于貝葉斯方法的垃圾郵件過濾技術(shù)的研究[D];沈陽工業(yè)大學(xué);2011年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙曉明,鄭少仁;電子郵件過濾器的分析與設(shè)計(jì)[J];東南大學(xué)學(xué)報(自然科學(xué)版);2001年05期

2 張長君;電子郵件的一種過濾方法[J];計(jì)算機(jī)安全;2002年02期

3 落紅衛(wèi),劉建毅,王樅,鐘義信;智能郵件過濾系統(tǒng)的研究與實(shí)現(xiàn)[J];機(jī)電產(chǎn)品開發(fā)與創(chuàng)新;2003年01期

4 孫凌宇;薛錦云;;最小生成樹算法的PAR方法形式化推導(dǎo)[J];計(jì)算機(jī)工程;2006年21期

5 張充;苗秀芬;司建輝;史青宣;田學(xué)東;;基于最小生成樹聚類的中文版面分割法[J];計(jì)算機(jī)工程;2008年15期

6 譚立球,谷士文,費(fèi)耀平;個人化電子郵件自動過濾系統(tǒng)的設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用;2002年06期

7 陳華輝;一種基于潛在語義索引的“垃圾”郵件過濾方法[J];計(jì)算機(jī)應(yīng)用研究;2000年10期

8 王慶波,方濱興,云曉春;電子郵件過濾檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2000年10期

9 劉斌,黃鐵軍,程軍,高文;一種新的基于統(tǒng)計(jì)的自動文本分類方法[J];中文信息學(xué)報;2002年06期

10 李渝勤,孫麗華;基于規(guī)則的自動分類在文本分類中的應(yīng)用[J];中文信息學(xué)報;2004年04期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李雯;劉培玉;;基于貝葉斯的垃圾郵件過濾算法的研究[J];計(jì)算機(jī)工程與應(yīng)用;2007年23期

2 張秋余;李建建;余冬梅;董建設(shè);王靜;賀洋偉;;基于圖像相似性檢測的圖像垃圾郵件過濾方法[J];蘭州理工大學(xué)學(xué)報;2008年04期

3 李融,曹小春;淺析反垃圾電子郵件技術(shù)[J];科技創(chuàng)業(yè)月刊;2004年06期

4 卓高明;林世平;;郵件過濾中信息增益方法的改進(jìn)[J];計(jì)算機(jī)工程與應(yīng)用;2006年S1期

5 葉振宇,劉晶;基于模糊模式識別的中文郵件過濾探討[J];計(jì)算機(jī)時代;2004年11期

6 林祥,荊濤,李生紅;前置式郵件過濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2005年02期

7 熊忠陽;杜圣東;張玉芳;;一種改進(jìn)的支持向量機(jī)郵件分類器[J];計(jì)算機(jī)科學(xué);2007年09期

8 陸青梅;尹四清;;基于貝葉斯定理的垃圾郵件分類技術(shù)研究[J];信息技術(shù);2008年02期

9 尹軍,譚曉蘭;校園網(wǎng)絡(luò)中如何防范垃圾郵件[J];衡陽師范學(xué)院學(xué)報;2005年03期

10 石艷榮;;反垃圾郵件技術(shù)[J];內(nèi)蒙古石油化工;2006年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 張相於;陳繼東;李玉坤;孟小峰;;TEXEM:一種基于實(shí)體的郵件任務(wù)提取策略[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（二）[C];2008年

2 張晶;姚建民;董守斌;張凌;;基于自然語言同現(xiàn)詞匯的郵件過濾[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

3 張志斌;施水才;呂學(xué)強(qiáng);;基于貝葉斯方法的中文垃圾郵件過濾技術(shù)綜述[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

4 沈衛(wèi)超;;反垃圾郵件技術(shù)與產(chǎn)品分析[A];第二十次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2005年

5 仇小鋒;陳鳴;賈永興;;垃圾郵件及其防范技術(shù)[A];第九屆全國青年通信學(xué)術(shù)會議論文集[C];2004年

6 薛亞楠;廖聞劍;彭艷兵;;垃圾郵件行為識別研究[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

7 顧琳;;利用Foxmail輔助電子審稿[A];第四屆全國核心期刊與期刊國際化、網(wǎng)絡(luò)化研討會論文集[C];2006年

8 石艷榮;孫丹寧;賀永強(qiáng);;一種基于內(nèi)容的郵件過濾模型的研究與性能分析[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會議論文集（上冊）[C];2007年

9 賴均;黃迪明;胡德昆;;反垃圾郵件機(jī)的研究與實(shí)現(xiàn)[A];四川省通信學(xué)會二零零四年學(xué)術(shù)年會論文集（二）[C];2004年

10 沈衛(wèi)超;;郵件過濾器系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];中國工程物理研究院科技年報（2001）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 喬珊;備份你的郵件過濾規(guī)則[N];電腦報;2004年

2 鄭惠榮;利用人工智能進(jìn)行郵件過濾[N];中國計(jì)算機(jī)報;2003年

3 ;冠群金辰赤宵KILL郵件過濾網(wǎng)關(guān)— 采用獨(dú)立的硬件平臺殺毒[N];計(jì)算機(jī)世界;2003年

4 黃智軍;IronMail幫保險業(yè)過濾郵件[N];計(jì)算機(jī)世界;2007年

5 唐慧;讓電子郵件更安全[N];網(wǎng)絡(luò)世界;2002年

6 ;不止是垃圾郵件過濾[N];網(wǎng)絡(luò)世界;2005年

7 溫遠(yuǎn);構(gòu)筑E-mail安全堡壘[N];中國電子報;2003年

8 《計(jì)算機(jī)世界》評測實(shí)驗(yàn)室 李韜;構(gòu)建一體化安全方案[N];計(jì)算機(jī)世界;2006年

9 吳倩;讓E-mail更安全[N];中國計(jì)算機(jī)報;2002年

10 ;Sobig．F緣何成為網(wǎng)絡(luò)［殺手］[N];中國電腦教育報;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學(xué);2011年

2 董建設(shè);協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究[D];蘭州理工大學(xué);2009年

3 王會珍;文本內(nèi)容分類和主題追蹤關(guān)鍵技術(shù)研究[D];東北大學(xué);2008年

4 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學(xué);2010年

5 劉衛(wèi)紅;垃圾郵件檢測與過濾關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2010年

6 董大凡;基于度量空間的P2P網(wǎng)絡(luò)相似搜索技術(shù)研究及應(yīng)用[D];南開大學(xué);2010年

7 程紅蓉;垃圾圖像特征提取與選擇研究[D];電子科技大學(xué);2011年

8 李鵬;圖像型垃圾郵件過濾關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

9 王美珍;垃圾郵件行為模式識別與過濾方法研究[D];華中科技大學(xué);2009年

10 盧敏;具有自然分組特性文本的分類研究[D];南開大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊大偉;基于Sendmail的電子郵件網(wǎng)關(guān)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2005年

2 李學(xué)勇;基于三層網(wǎng)絡(luò)設(shè)備的郵件過濾系統(tǒng)[D];華北工學(xué)院;2003年

3 楊盛;電子郵件過濾系統(tǒng)的研究與設(shè)計(jì)[D];中南大學(xué);2005年

4 呂栗;郵件過濾系統(tǒng)中數(shù)據(jù)庫的性能優(yōu)化[D];哈爾濱工程大學(xué);2005年

5 肖明;基于SVM的智能郵件過濾系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2005年

6 楊麗華;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];西南交通大學(xué);2006年

7 徐衛(wèi);電子郵件預(yù)處理與過濾管理系統(tǒng)的研究與設(shè)計(jì)[D];蘇州大學(xué);2006年

8 石霞軍;郵件信息過濾算法研究與實(shí)現(xiàn)[D];湖南大學(xué);2002年

9 周俊怡;一種混合垃圾郵件過濾技術(shù)研究[D];電子科技大學(xué);2009年

10 林昊;基于Linux內(nèi)核的郵件過濾系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2005年

，

本文編號：625143