【摘要】：近些年來,有一些不法分子利用電子郵件進(jìn)行了廣告信息和不良信息的傳播,這種傳播為社會帶來了很大危害,在高校內(nèi)部辦公網(wǎng)絡(luò)中,高校辦公郵件系統(tǒng)中收到垃圾郵件的現(xiàn)象也十分普遍,不僅造成了嚴(yán)重的不良影響,同時也給用戶帶來了消極體驗(yàn),影響了人們的日常生活,而且還可能會對社會的和諧帶來不良的影響。因此,高校辦公過程中,垃圾郵件的過濾和處理已經(jīng)成為了一個不容忽視的問題,業(yè)已成為高校應(yīng)用軟件開發(fā)者關(guān)注的重點(diǎn)問題。本文就是基于該研究背景,對基于信息增益的垃圾郵件特征選擇算法進(jìn)行了研究,設(shè)計了高校辦公系統(tǒng)垃圾郵件過濾DTFS算法。首先分析了一個完整的高校垃圾郵件過濾模型的組成部分與各部分的功能,整個模型包括:文本預(yù)處理模型、特征降維模型、文本表示模型、分類器模型和結(jié)果評估模型等五部分。在詳細(xì)分析了各部分模型的構(gòu)成原理與主流技術(shù)以外,對特征降維算法進(jìn)行了深入的研究,分析了特征降維對于文本分類的重要性,并且設(shè)計了一種改進(jìn)的特征選擇DTFS算法。在對文本分類模型進(jìn)行細(xì)致分析的基礎(chǔ)上,本文發(fā)現(xiàn)特征降維對于一個分類系統(tǒng)來講是必不可少的組成部分,由于巨大的特征空間不僅會為計算機(jī)的處理帶來沉重的負(fù)擔(dān),并且在特征空間當(dāng)中仍然包含了許多冗余信息,這些信息嚴(yán)重的影響了最終的分類結(jié)果,特征降維的目的就是在不降低分類器性能的基礎(chǔ)上,將特征空間的維度盡可能的減小。傳統(tǒng)的特征降維方法有兩種:特征提取和特征選擇。前者是一種基于特征空間變化,將原始特征空間通過某種特定規(guī)則映射到新的低維特征空間,并且在這一過程當(dāng)中盡可能的減少特征信息的損失;后者則是利用一定的規(guī)則從原始特征集合當(dāng)中提取出一個特征子集合,這個子集合在最大程度上代表原始特征集合。通過驗(yàn)證發(fā)現(xiàn),本文采用的特征降維算法不僅可以在很大程度上降低特征空間的維度,并且可以在一定程度提高分類器的分類性能。在設(shè)計了改進(jìn)算法的基礎(chǔ)上,本文將該DTFS算法運(yùn)用到某高校辦公系統(tǒng)垃圾郵件過濾特征選擇模型中進(jìn)行性能分析,該特征選擇模型包括分詞處理、去停用詞處理、詞干提取以及特征選擇等功能。在文本分類過程當(dāng)中,采用數(shù)據(jù)挖掘軟件Weka,利用Weka輸出分類結(jié)果,與傳統(tǒng)的特征選擇算法進(jìn)行對比分析。在分析了高校垃圾郵件過濾實(shí)驗(yàn)結(jié)果的基礎(chǔ)上,對本文設(shè)計的算法進(jìn)行時間復(fù)雜度以及空間復(fù)雜度的分析,發(fā)現(xiàn)本文的時間復(fù)雜度與空間復(fù)雜度均未超過傳統(tǒng)的特征選擇算法。本文所對應(yīng)的高校垃圾郵件過濾在運(yùn)用文檔頻率、互信息、信息增益和卡方統(tǒng)計時與運(yùn)用設(shè)計的DTFS算法進(jìn)行比較,在查全率、查準(zhǔn)率和F1值等評價指標(biāo)上來衡量算法的優(yōu)劣,本文設(shè)計的DTFS算法不僅性能占優(yōu),而且計算復(fù)雜度更小。應(yīng)用到高校辦公系統(tǒng)垃圾郵件過濾中后發(fā)現(xiàn)該系統(tǒng)能夠有效對垃圾郵件進(jìn)行攔截。
【學(xué)位授予單位】：東北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP317.1;TP393.098

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張羿;周建國;晏蒲柳;;垃圾郵件過濾系統(tǒng)的研究與實(shí)現(xiàn)[J];計算機(jī)工程;2006年18期

2 徐衛(wèi);;一種垃圾郵件過濾網(wǎng)關(guān)的設(shè)計[J];電腦知識與技術(shù);2006年35期

3 項(xiàng)濤;龔儉;丁偉;;垃圾郵件過濾系統(tǒng)的評估模型研究[J];計算機(jī)工程與設(shè)計;2007年18期

4 歐德寧;馬軍;;基于內(nèi)含鏈接特征分析的垃圾郵件過濾技術(shù)[J];鄭州大學(xué)學(xué)報(理學(xué)版);2009年02期

5 金彩琴;裘國永;;對垃圾郵件過濾技術(shù)的問題研究[J];計算機(jī)技術(shù)與發(fā)展;2011年09期

6 丁上凌;呂后坤;;垃圾郵件過濾技術(shù)研究[J];漯河職業(yè)技術(shù)學(xué)院學(xué)報;2012年02期

7 趙文清;一種混合型垃圾郵件過濾系統(tǒng)的研究與設(shè)計[J];山西電子技術(shù);2004年06期

8 陳長偉;劉罡;洪躍楓;;電子垃圾郵件過濾技術(shù)的應(yīng)用[J];辦公自動化;2004年06期

9 劉震,佘X,周明天;基于多級屬性集的垃圾郵件過濾技術(shù)[J];計算機(jī)應(yīng)用研究;2005年07期

10 陳治平;王雷;;基于自學(xué)習(xí)K近鄰的垃圾郵件過濾算法[J];計算機(jī)應(yīng)用;2005年S1期

相關(guān)會議論文 前10條

1 李軍;何曉寧;黃成哲;齊浩亮;雷國華;;基于特征貢獻(xiàn)度的垃圾郵件過濾方法[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

2 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過濾研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

3 劉紅翼;;一種垃圾郵件過濾器的設(shè)計與實(shí)現(xiàn)[A];廣西計算機(jī)學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

4 張尼;方濱興;;垃圾郵件過濾技術(shù)綜述[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會'2005論文集（下冊）[C];2005年

5 張志斌;施水才;呂學(xué)強(qiáng);;基于貝葉斯方法的中文垃圾郵件過濾技術(shù)綜述[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

6 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應(yīng)用分析[A];中國造船工程學(xué)會電子技術(shù)學(xué)術(shù)委員會2006學(xué)術(shù)年會論文集（上冊）[C];2006年

7 張海雷;王會珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過濾技術(shù)比較分析[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

8 米淑云;辛陽;羅群;;一種新型垃圾郵件過濾系統(tǒng)的設(shè)計和研究[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

9 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過濾[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（上）[C];2008年

10 牛明珠;;病毒和垃圾郵件過濾技術(shù)淺析[A];二○○九年全國電力企業(yè)信息化大會論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 ;“垃圾郵件過濾系統(tǒng)”幾乎沒有一個完善的[N];新華每日電訊;2003年

2 ;測試?yán)]件過濾系統(tǒng)[N];網(wǎng)絡(luò)世界;2003年

3 本報記者 高穎;清除網(wǎng)絡(luò)“牛皮癬”勝算幾何？[N];計算機(jī)世界;2003年

4 John D. Halamka;IT手段的兩面性[N];計算機(jī)世界;2007年

5 ;不止是垃圾郵件過濾[N];網(wǎng)絡(luò)世界;2005年

6 ;2003十大網(wǎng)絡(luò)應(yīng)用電子郵箱[N];中國電腦教育報;2003年

7 本報記者 李建平;Comdex走向?qū)ＷN];計算機(jī)世界;2003年

8 張穎;東西方交流不會被“垃圾”阻斷[N];中國經(jīng)營報;2002年

9 ;如何選擇和使用UTM設(shè)備[N];網(wǎng)絡(luò)世界;2009年

10 ;用戶關(guān)心的問題：MSN 8值嗎？[N];計算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前5條

1 董建設(shè);協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究[D];蘭州理工大學(xué);2009年

2 惠孛;基于即時分類的垃圾郵件過濾關(guān)鍵技術(shù)的研究[D];電子科技大學(xué);2009年

3 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學(xué);2011年

4 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學(xué);2010年

5 張澤明;人工免疫算法及其應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 甘棠儀;基于屬性論方法的垃圾郵件過濾系統(tǒng)設(shè)計與研究[D];上海海事大學(xué);2005年

2 王申;基于內(nèi)容的垃圾郵件過濾技術(shù)的若干研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

3 田月霞;基于疫苗機(jī)制的垃圾郵件過濾模型的研究[D];鄭州輕工業(yè)學(xué)院;2015年

4 鄧曾;遺傳算法和貝葉斯模型在垃圾郵件過濾中的應(yīng)用[D];電子科技大學(xué);2015年

5 徐兆志;基于AAPE分類模型的垃圾郵件過濾技術(shù)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 次曲(Tse Qu);基于樸素貝葉斯算法的藏文垃圾郵件過濾關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

7 王浩;基于發(fā)送方異常行為檢測的垃圾郵件過濾系統(tǒng)的研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

8 陸元;基于多特征融合的垃圾郵件過濾系統(tǒng)[D];重慶大學(xué);2015年

9 魏如玉;中文垃圾郵件過濾方法的研究[D];遼寧大學(xué);2016年

10 胡瑋;基于語義的垃圾郵件過濾技術(shù)的研究[D];重慶大學(xué);2016年

，

本文編號：2520300