【摘要】：近些年來,有一些不法分子利用電子郵件進行了廣告信息和不良信息的傳播,這種傳播為社會帶來了很大危害,在高校內部辦公網絡中,高校辦公郵件系統(tǒng)中收到垃圾郵件的現象也十分普遍,不僅造成了嚴重的不良影響,同時也給用戶帶來了消極體驗,影響了人們的日常生活,而且還可能會對社會的和諧帶來不良的影響。因此,高校辦公過程中,垃圾郵件的過濾和處理已經成為了一個不容忽視的問題,業(yè)已成為高校應用軟件開發(fā)者關注的重點問題。本文就是基于該研究背景,對基于信息增益的垃圾郵件特征選擇算法進行了研究,設計了高校辦公系統(tǒng)垃圾郵件過濾DTFS算法。首先分析了一個完整的高校垃圾郵件過濾模型的組成部分與各部分的功能,整個模型包括:文本預處理模型、特征降維模型、文本表示模型、分類器模型和結果評估模型等五部分。在詳細分析了各部分模型的構成原理與主流技術以外,對特征降維算法進行了深入的研究,分析了特征降維對于文本分類的重要性,并且設計了一種改進的特征選擇DTFS算法。在對文本分類模型進行細致分析的基礎上,本文發(fā)現特征降維對于一個分類系統(tǒng)來講是必不可少的組成部分,由于巨大的特征空間不僅會為計算機的處理帶來沉重的負擔,并且在特征空間當中仍然包含了許多冗余信息,這些信息嚴重的影響了最終的分類結果,特征降維的目的就是在不降低分類器性能的基礎上,將特征空間的維度盡可能的減小。傳統(tǒng)的特征降維方法有兩種:特征提取和特征選擇。前者是一種基于特征空間變化,將原始特征空間通過某種特定規(guī)則映射到新的低維特征空間,并且在這一過程當中盡可能的減少特征信息的損失;后者則是利用一定的規(guī)則從原始特征集合當中提取出一個特征子集合,這個子集合在最大程度上代表原始特征集合。通過驗證發(fā)現,本文采用的特征降維算法不僅可以在很大程度上降低特征空間的維度,并且可以在一定程度提高分類器的分類性能。在設計了改進算法的基礎上,本文將該DTFS算法運用到某高校辦公系統(tǒng)垃圾郵件過濾特征選擇模型中進行性能分析,該特征選擇模型包括分詞處理、去停用詞處理、詞干提取以及特征選擇等功能。在文本分類過程當中,采用數據挖掘軟件Weka,利用Weka輸出分類結果,與傳統(tǒng)的特征選擇算法進行對比分析。在分析了高校垃圾郵件過濾實驗結果的基礎上,對本文設計的算法進行時間復雜度以及空間復雜度的分析,發(fā)現本文的時間復雜度與空間復雜度均未超過傳統(tǒng)的特征選擇算法。本文所對應的高校垃圾郵件過濾在運用文檔頻率、互信息、信息增益和卡方統(tǒng)計時與運用設計的DTFS算法進行比較,在查全率、查準率和F1值等評價指標上來衡量算法的優(yōu)劣,本文設計的DTFS算法不僅性能占優(yōu),而且計算復雜度更小。應用到高校辦公系統(tǒng)垃圾郵件過濾中后發(fā)現該系統(tǒng)能夠有效對垃圾郵件進行攔截。
【學位授予單位】：東北大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP317.1;TP393.098

【相似文獻】

相關期刊論文 前10條

1 張羿;周建國;晏蒲柳;;垃圾郵件過濾系統(tǒng)的研究與實現[J];計算機工程;2006年18期

2 徐衛(wèi);;一種垃圾郵件過濾網關的設計[J];電腦知識與技術;2006年35期

3 項濤;龔儉;丁偉;;垃圾郵件過濾系統(tǒng)的評估模型研究[J];計算機工程與設計;2007年18期

4 歐德寧;馬軍;;基于內含鏈接特征分析的垃圾郵件過濾技術[J];鄭州大學學報(理學版);2009年02期

5 金彩琴;裘國永;;對垃圾郵件過濾技術的問題研究[J];計算機技術與發(fā)展;2011年09期

6 丁上凌;呂后坤;;垃圾郵件過濾技術研究[J];漯河職業(yè)技術學院學報;2012年02期

7 趙文清;一種混合型垃圾郵件過濾系統(tǒng)的研究與設計[J];山西電子技術;2004年06期

8 陳長偉;劉罡;洪躍楓;;電子垃圾郵件過濾技術的應用[J];辦公自動化;2004年06期

9 劉震,佘X,周明天;基于多級屬性集的垃圾郵件過濾技術[J];計算機應用研究;2005年07期

10 陳治平;王雷;;基于自學習K近鄰的垃圾郵件過濾算法[J];計算機應用;2005年S1期

相關會議論文 前10條

1 李軍;何曉寧;黃成哲;齊浩亮;雷國華;;基于特征貢獻度的垃圾郵件過濾方法[A];第六屆全國信息檢索學術會議論文集[C];2010年

2 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過濾研究[A];全國網絡與信息安全技術研討會’2004論文集[C];2004年

3 劉紅翼;;一種垃圾郵件過濾器的設計與實現[A];廣西計算機學會2005年學術年會論文集[C];2005年

4 張尼;方濱興;;垃圾郵件過濾技術綜述[A];全國網絡與信息安全技術研討會'2005論文集（下冊）[C];2005年

5 張志斌;施水才;呂學強;;基于貝葉斯方法的中文垃圾郵件過濾技術綜述[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術會議論文集[C];2006年

6 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應用分析[A];中國造船工程學會電子技術學術委員會2006學術年會論文集（上冊）[C];2006年

7 張海雷;王會珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過濾技術比較分析[A];全國網絡與信息安全技術研討會論文集（下冊）[C];2007年

8 米淑云;辛陽;羅群;;一種新型垃圾郵件過濾系統(tǒng)的設計和研究[A];2008通信理論與技術新進展——第十三屆全國青年通信學術會議論文集（上）[C];2008年

9 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過濾[A];第四屆全國信息檢索與內容安全學術會議論文集（上）[C];2008年

10 牛明珠;;病毒和垃圾郵件過濾技術淺析[A];二○○九年全國電力企業(yè)信息化大會論文集[C];2009年

相關重要報紙文章 前10條

1 ;“垃圾郵件過濾系統(tǒng)”幾乎沒有一個完善的[N];新華每日電訊;2003年

2 ;測試垃圾郵件過濾系統(tǒng)[N];網絡世界;2003年

3 本報記者 高穎;清除網絡“牛皮癬”勝算幾何？[N];計算機世界;2003年

4 John D. Halamka;IT手段的兩面性[N];計算機世界;2007年

5 ;不止是垃圾郵件過濾[N];網絡世界;2005年

6 ;2003十大網絡應用電子郵箱[N];中國電腦教育報;2003年

7 本報記者 李建平;Comdex走向專注[N];計算機世界;2003年

8 張穎;東西方交流不會被“垃圾”阻斷[N];中國經營報;2002年

9 ;如何選擇和使用UTM設備[N];網絡世界;2009年

10 ;用戶關心的問題：MSN 8值嗎？[N];計算機世界;2002年

相關博士學位論文 前5條

1 董建設;協作式垃圾郵件過濾關鍵技術研究[D];蘭州理工大學;2009年

2 惠孛;基于即時分類的垃圾郵件過濾關鍵技術的研究[D];電子科技大學;2009年

3 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學;2011年

4 孫晶濤;基于內容的垃圾郵件過濾技術研究[D];蘭州理工大學;2010年

5 張澤明;人工免疫算法及其應用研究[D];中國科學技術大學;2007年

相關碩士學位論文 前10條

1 甘棠儀;基于屬性論方法的垃圾郵件過濾系統(tǒng)設計與研究[D];上海海事大學;2005年

2 王申;基于內容的垃圾郵件過濾技術的若干研究[D];中國科學院研究生院（計算技術研究所）;2005年

3 田月霞;基于疫苗機制的垃圾郵件過濾模型的研究[D];鄭州輕工業(yè)學院;2015年

4 鄧曾;遺傳算法和貝葉斯模型在垃圾郵件過濾中的應用[D];電子科技大學;2015年

5 徐兆志;基于AAPE分類模型的垃圾郵件過濾技術的研究與實現[D];電子科技大學;2014年

6 次曲(Tse Qu);基于樸素貝葉斯算法的藏文垃圾郵件過濾關鍵技術研究[D];電子科技大學;2013年

7 王浩;基于發(fā)送方異常行為檢測的垃圾郵件過濾系統(tǒng)的研究與實現[D];東北大學;2013年

8 陸元;基于多特征融合的垃圾郵件過濾系統(tǒng)[D];重慶大學;2015年

9 魏如玉;中文垃圾郵件過濾方法的研究[D];遼寧大學;2016年

10 胡瑋;基于語義的垃圾郵件過濾技術的研究[D];重慶大學;2016年

，

本文編號：2520300