電子郵件技術(shù)是一把雙刃劍,它的普及給人們的交流帶來了極大便利,同時垃圾郵件的泛濫也已經(jīng)影響甚至威脅到人們?nèi)粘５纳詈凸ぷ鳌Ｔ诋?dāng)今高速網(wǎng)絡(luò)環(huán)境中,大多數(shù)郵件安全網(wǎng)關(guān)通過解析郵件內(nèi)容過濾垃圾郵件,這種過濾方式耗時費力。本文將從提高郵件安全網(wǎng)關(guān)在高速網(wǎng)絡(luò)環(huán)境中的應(yīng)用性能出發(fā),針對郵件地址匹配算法和不需要解析郵件全文的垃圾郵件識別方法進(jìn)行研究。首先,針對郵件地址匹配算法方面進(jìn)行了研究,涉及到多模式匹配算法。WM(Wu-Manber)算法是一種經(jīng)典的多模式匹配算法,然而將WM算法直接應(yīng)用于海量規(guī)模的郵件地址匹配時,由于沒有考慮郵件地址的特征,算法效率并不高。本文提出一種支持海量規(guī)模郵件地址匹配的ME-WM算法。ME-WM算法結(jié)合WM算法自身特點和郵件地址特征,針對WM算法存儲結(jié)構(gòu)和匹配流程進(jìn)行優(yōu)化。ME-WM算法利用一種高效的哈希模型減少哈希沖突;通過布隆過濾器存儲和匹配郵件地址的域名,避免了郵件域名的重復(fù)存儲,降低了算法的內(nèi)存消耗;通過使用紅黑樹處理產(chǎn)生哈希沖突的元素,降低精確匹配耗時。最后通過與傳統(tǒng)WM算法及其改進(jìn)算法RFP-WM、Prefix Tree-WM算法進(jìn)行對比實驗,對比其時間性能和空間性能,證明ME-WM算法非常適合應(yīng)用于海量規(guī)模的郵件地址匹配。其次,針對垃圾郵件的識別技術(shù)進(jìn)行了研究。本文提出了一種基于時窗增量的中文垃圾郵件識別模型,利用決策樹算法分析垃圾郵件的標(biāo)題部分,探索標(biāo)題特征與垃圾郵件之間的關(guān)聯(lián)規(guī)則,應(yīng)用這些規(guī)則,建立一個高效、準(zhǔn)確的垃圾郵件識別模型。本文的垃圾郵件識別模型具有以下優(yōu)點:不需要解析郵件全文,只分析電子郵件的標(biāo)題部分,減少了計算的復(fù)雜性,提高了郵件網(wǎng)關(guān)的過濾性能;引入了適應(yīng)互聯(lián)網(wǎng)開放環(huán)境的中文分詞算法;構(gòu)造了加權(quán)時間窗口,用于計算每封待過濾郵件的概念漂移得分,將概念漂移作為一種構(gòu)建決策樹的關(guān)鍵因素,不需要重構(gòu)分類器以解決概念漂移問題;設(shè)計了一種增量學(xué)習(xí)機制來擴充垃圾郵件關(guān)鍵詞表,提高模型對動態(tài)環(huán)境的適應(yīng)能力。最后通過實驗證明本模型的有效性,并且性能優(yōu)于改進(jìn)的貝葉斯模型、優(yōu)化的SVM模型和變精度粗糙集決策樹模型。
【學(xué)位單位】：哈爾濱工程大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP393.098;TP393.08
【部分圖文】：

和時間消耗的具體統(tǒng)計。由圖 3.5 趨勢可以看出 ME-WM 算法的內(nèi)存消最優(yōu)的，RFP-WM 算法的內(nèi)存消耗是最多的。這是因為 RFP-WM 算法的本質(zhì)是空間換時間，ME-WM 算法是針對郵件地址特征進(jìn)行特別優(yōu)化ME-WM 算法使用布隆過濾器進(jìn)行域名匹配，不僅不用重復(fù)存儲相同的布隆過濾器也不會存儲實際的域名。在實際應(yīng)用中，郵件地址中域名占很大，在海量郵件地址的情況下，ME-WM 算法的內(nèi)存消耗必然得到了化。

模式串集合的情況下，算法在時間消耗上的表現(xiàn)。3.4.3 實驗結(jié)果分析實驗一結(jié)果分析，圖 3.3 是哈希函數(shù)沖突數(shù)的測試結(jié)果，圖 3.4 是哈希函數(shù)的哈希時耗，以下是測試結(jié)果：通過對比實驗可以發(fā)現(xiàn)，BKDRHash 在實驗測試中，不論是哈希耗時還是哈希沖突都是非常優(yōu)秀的，效果是最突出的。APHash 處理哈希沖突也是較為優(yōu)秀的，然而其哈希耗時卻不是很理想。DJB2Hash、RSHash、SDBHash 在哈希計算耗時上優(yōu)勢非常明顯，適合使用在模式串集合規(guī)模不大的情況下，因為此時產(chǎn)生沖突的可能性很小，其哈希計算性能就可以充分發(fā)揮出來。本實驗中 PJWHash算法與 ELFHash 算法在哈希耗時和哈希沖突數(shù)兩個方面表現(xiàn)都比較差。綜上

算法與 ELFHash 算法在哈希耗時和哈希沖突數(shù)兩個方面表現(xiàn)都比較差。綜上，本文選取 BKDRHash 哈希算法為 ME-WM 算法的哈希函數(shù)。實驗二結(jié)果分析，圖3.5是隨模式串集合規(guī)模的各類算法內(nèi)存消耗的趨勢圖，圖 3.6 是隨模式串集合規(guī)模的各類算法時間消耗的趨勢圖。表 3.2 和 3.3 是內(nèi)存
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蕊;;卡巴斯基發(fā)布 第三季度垃圾郵件和釣魚攻擊報告[J];計算機與網(wǎng)絡(luò);2015年24期

2 褚衍杰;李云照;魏強;;一種改進(jìn)的多模式匹配算法[J];西安電子科技大學(xué)學(xué)報;2014年06期

3 王友衛(wèi);劉元寧;鳳麗洲;朱曉冬;;基于用戶興趣度的垃圾郵件在線識別新方法[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2014年07期

4 劉燕兵;邵妍;王勇;劉慶云;郭莉;;一種面向大規(guī)模URL過濾的多模式串匹配算法[J];計算機學(xué)報;2014年05期

5 黃國偉;許昱瑋;;基于用戶反饋的混合型垃圾郵件過濾方法[J];計算機應(yīng)用;2013年07期

6 柴寶仁;谷文成;牛占云;周宏君;王克生;;基于Boosting算法的垃圾郵件過濾方法研究[J];北京理工大學(xué)學(xué)報;2013年01期

7 夏克儉;張濤;;基于貝葉斯算法的垃圾郵件過濾的研究[J];微計算機信息;2008年09期

8 王鑫;陳光英;段海新;李學(xué)農(nóng);;基于用戶反饋和增量學(xué)習(xí)的垃圾郵件識別方法[J];清華大學(xué)學(xué)報(自然科學(xué)版);2006年01期

9 陳治平;王雷;;基于自學(xué)習(xí)K近鄰的垃圾郵件過濾算法[J];計算機應(yīng)用;2005年S1期

10 王佰玲,方濱興,云曉春;零拷貝報文捕獲平臺的研究與實現(xiàn)[J];計算機學(xué)報;2005年01期

相關(guān)博士學(xué)位論文 前2條

1 孫宇;針對含有概念漂移問題的增量學(xué)習(xí)算法研究[D];中國科學(xué)技術(shù)大學(xué);2017年

2 王美珍;垃圾郵件行為模式識別與過濾方法研究[D];華中科技大學(xué);2009年

相關(guān)碩士學(xué)位論文 前9條

1 姜麗麗;基于網(wǎng)絡(luò)安全系統(tǒng)的大規(guī)模模式集合匹配算法的研究[D];東南大學(xué);2015年

2 汪晨維;基于郵件意圖與指紋分析的垃圾郵件過濾方法研究[D];廈門大學(xué);2014年

3 范宇健;大流量網(wǎng)絡(luò)下串匹配算法的優(yōu)化研究[D];哈爾濱工業(yè)大學(xué);2013年

4 姜南;基于SVM的垃圾郵件在線過濾新方法[D];吉林大學(xué);2013年

5 韓燁;基于粗糙集理論的垃圾郵件識別方法[D];吉林大學(xué);2012年

6 朱群;基于窗口機制的概念漂移數(shù)據(jù)流分類算法研究[D];合肥工業(yè)大學(xué);2011年

7 黨建軍;基于適應(yīng)概念漂移的垃圾郵件過濾系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2010年

8 朱文龍;基于行為分析的垃圾郵件過濾技術(shù)研究[D];哈爾濱工程大學(xué);2010年

9 胡英飛;基于行為識別的垃圾郵件過濾研究[D];北京郵電大學(xué);2009年

本文編號：2864940