本文關(guān)鍵詞：基于數(shù)據(jù)驅(qū)動(dòng)的垃圾郵件檢測(cè)技術(shù)研究

  更多相關(guān)文章： 垃圾郵件 Boosting Tree算法 隨機(jī)森林 Elastic net-Decision Tree算法

【摘要】：垃圾郵件作為電子郵件的副產(chǎn)品,已經(jīng)給人們生活、工作等多個(gè)方面帶來(lái)嚴(yán)重的影響。如何有效地檢測(cè)出垃圾郵件已經(jīng)成為急需解決的一個(gè)難題。因此本文針對(duì)常見(jiàn)的垃圾郵件文本檢測(cè)進(jìn)行了深入研究。具體描述如下:(1)提出了基于Boosting Tree算法的垃圾郵件檢測(cè)方法。Boosting Tree算法基本原理是以Decision Tree分類(lèi)算法作為Boosting算法框架中的基分類(lèi)方法,利用Boosting算法框架對(duì)歷史郵件文本(訓(xùn)練集)進(jìn)行訓(xùn)練以獲得多個(gè)不同的訓(xùn)練樣本子集。然后應(yīng)用Decision Tree分類(lèi)算法對(duì)這些樣本子集進(jìn)行訓(xùn)練生成Decision Tree基分類(lèi)器,經(jīng)過(guò)T輪的訓(xùn)練后產(chǎn)生T個(gè)Decision Tree基分類(lèi)器。再將T個(gè)Decision Tree基分類(lèi)器進(jìn)行加權(quán)融合成一個(gè)最終結(jié)果的分類(lèi)器。最后利用這個(gè)最終結(jié)果的分類(lèi)器對(duì)電子郵件進(jìn)行檢測(cè)分類(lèi)。傳統(tǒng)貝葉斯算法、Decision Tree算法和Boosting Tree算法的對(duì)比結(jié)果充分說(shuō)明了基于Boosting Tree算法的垃圾郵件分類(lèi)器的性能明顯優(yōu)于其它。(2)提出了基于隨機(jī)森林的垃圾郵件檢測(cè)方法。隨機(jī)森林以Decision Tree算法為基分類(lèi)器,通過(guò)bagging抽樣方法從訓(xùn)練樣本集中重復(fù)抽取多個(gè)訓(xùn)練樣本子集,再對(duì)每個(gè)訓(xùn)練樣本子集分別進(jìn)行建立Decision Tree算法數(shù)學(xué)模型,然后根據(jù)分類(lèi)結(jié)果對(duì)每個(gè)決策樹(shù)進(jìn)行“投票”,獲得票數(shù)最多的作為最優(yōu)分類(lèi)樹(shù)。隨機(jī)森林和Decision Tree算法仿真實(shí)驗(yàn)結(jié)果表明基于隨機(jī)森林的垃圾郵件分類(lèi)器的分類(lèi)效率大幅度提高。(3)提出了一種新型的Elastic net-Decision Tree兩步垃圾郵件分類(lèi)算法。該算法彌補(bǔ)了單獨(dú)使用一些算法進(jìn)行特征降維或回歸分析時(shí)分類(lèi)的效果不足的缺陷。第一步運(yùn)用Elastic Net算法對(duì)歷史郵件文本數(shù)據(jù)進(jìn)行特征降維;第二步將特征降維產(chǎn)生的結(jié)果輸入到Decision Tree算法中進(jìn)行分類(lèi),即篩選出哪些郵件是垃圾郵件,哪些是合法郵件。與PLS、PCA和Lasso算法的仿真結(jié)果相比,Elastic net-Decision Tree兩步分類(lèi)算法的分類(lèi)結(jié)果明顯更好。
【學(xué)位授予單位】：華東交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP393.098

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;網(wǎng)絡(luò)暢“郵”——常青藤郵件系統(tǒng)解決方案分析[J];每周電腦報(bào);2000年25期

2 劉杰;商業(yè)化郵件系統(tǒng):企業(yè)信息化第一應(yīng)用[J];互聯(lián)網(wǎng)周刊;2001年30期

3 ;郵件系統(tǒng)應(yīng)用——聚焦企業(yè)級(jí)市場(chǎng)[J];微電腦世界;2002年15期

4 ;附加價(jià)值——企業(yè)郵件系統(tǒng)的真正目標(biāo)[J];微電腦世界;2002年15期

5 ;擎空霹靂劍——在服務(wù)器端圍剿垃圾郵件[J];微電腦世界;2003年07期

6 馮琳蔚;分布式抗垃圾郵件技術(shù)[J];計(jì)算機(jī)安全;2004年09期

7 曉齊;啟明星辰推出 天澄防垃圾郵件系統(tǒng)[J];信息網(wǎng)絡(luò)安全;2004年08期

8 郁冰;;大容量郵件系統(tǒng)的動(dòng)力[J];電子商務(wù)世界;2006年04期

9 王冰睿;;從1小時(shí)到幾秒鐘 宜春改造公務(wù)員郵件系統(tǒng)見(jiàn)奇效[J];IT時(shí)代周刊;2009年24期

10 李心豐;;大型企業(yè)郵件系統(tǒng)設(shè)計(jì)[J];通信管理與技術(shù);2010年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 孟廣平;;分布式郵件系統(tǒng)特點(diǎn)及在寶鋼的應(yīng)用[A];第十一屆全國(guó)自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2006年

2 劉華檳;;企業(yè)郵件系統(tǒng)的選型[A];創(chuàng)新·融合·發(fā)展——?jiǎng)?chuàng)新型煤炭企業(yè)發(fā)展與信息化高峰論壇論文集[C];2010年

3 劉陽(yáng);楊延新;鄭鐵成;;淺談企業(yè)涉密郵件系統(tǒng)建設(shè)與改造[A];2013年中國(guó)航空學(xué)會(huì)管理科學(xué)分會(huì)學(xué)術(shù)會(huì)議論文集[C];2013年

4 吳哲;田捷;李亮;楊鑫;;基于指紋身份認(rèn)證的安全郵件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

5 李軍輝;朱巧明;錢(qián)培德;;郵件語(yǔ)料庫(kù)的語(yǔ)料添加算法研究與實(shí)現(xiàn)[A];中文信息處理前沿進(jìn)展——中國(guó)中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C];2006年

6 黃斌;;第二代郵件系統(tǒng)[A];經(jīng)濟(jì)全球化和中國(guó)技術(shù)經(jīng)濟(jì)發(fā)展[C];2000年

7 尋曉勁;;郵件系統(tǒng)信息安全[A];2007中國(guó)科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

8 吳昊;;基于Lucene技術(shù)的郵件取證技術(shù)研究[A];第28次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2013年

9 代剛;趙小宇;馬嚴(yán);;MailS(?)c智能安全郵件系統(tǒng)設(shè)計(jì)[A];全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用年會(huì)論文集（2001）[C];2001年

10 陳良臣;劉淑珍;閆曉飛;孫功星;;基于BERW和IMAP4的移動(dòng)終端郵件系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[A];第13屆全國(guó)計(jì)算機(jī)、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 本報(bào)記者 潘永花;郵件系統(tǒng)因需求而動(dòng)[N];網(wǎng)絡(luò)世界;2002年

2 姜姝;企業(yè)郵件系統(tǒng)如何確保安全[N];中國(guó)信息化周報(bào);2013年

3 本報(bào)記者 陳凡;對(duì)付垃圾郵件有新招[N];北京科技報(bào);2004年

4 梁劍坤;垃圾郵件可以消除[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 本報(bào)記者 張超;垃圾郵件：互聯(lián)網(wǎng)的煩惱[N];科技日?qǐng)?bào);2003年

6 小青;263積極打造郵件運(yùn)營(yíng)價(jià)值鏈[N];中國(guó)經(jīng)營(yíng)報(bào);2004年

7 特約撰稿 張琦;垃圾郵件成“圣誕禮物”[N];中國(guó)電腦教育報(bào);2006年

8 Mirapoint中國(guó)區(qū)技術(shù)經(jīng)理 顧春;系統(tǒng)硬件化 構(gòu)建安全郵件系統(tǒng)新趨勢(shì)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

9 ;碩琦: 垃圾郵件行為模式分析[N];計(jì)算機(jī)世界;2006年

10 李玉華;企業(yè)郵件系統(tǒng)大升級(jí)[N];計(jì)算機(jī)世界;2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李弋;云環(huán)境中典型應(yīng)用的I/O優(yōu)化策略研究[D];復(fù)旦大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 劉慶雄;基于數(shù)據(jù)驅(qū)動(dòng)的垃圾郵件檢測(cè)技術(shù)研究[D];華東交通大學(xué);2016年

2 宋占鈺;聯(lián)通統(tǒng)一郵件系統(tǒng)改造工程項(xiàng)目分析與設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2016年

3 萬(wàn)果鋒;基于郵件系統(tǒng)的社團(tuán)挖掘研究[D];大連交通大學(xué);2010年

4 金星;大容量郵件系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2002年

5 劉建;大容量分布式郵件系統(tǒng)的原理、結(jié)構(gòu)及實(shí)現(xiàn)[D];西安電子科技大學(xué);2002年

6 石道生;大容量移動(dòng)郵件系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];華中科技大學(xué);2004年

7 李應(yīng)開(kāi);基于代理重加密的郵件系統(tǒng)的研究與設(shè)計(jì)[D];暨南大學(xué);2012年

8 顧大偉;基于代理的敏感郵件監(jiān)控技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

9 江奇峰;辦公郵件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華僑大學(xué);2015年

10 傅揚(yáng)波;郵件客戶服務(wù)原型系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

，

本文編號(hào)：1286184