發(fā)布時間：2018-09-14 15:08

【摘要】：垃圾郵件過濾是網(wǎng)絡(luò)信息處理中的重要問題,基于機(jī)器學(xué)習(xí)方法的垃圾郵件過濾技術(shù)是目前的研究熱點(diǎn)�，F(xiàn)有研究一般將過濾問題視為二值分類問題進(jìn)行解決,存在著模型優(yōu)化目標(biāo)和性能評價指標(biāo)1-AUC不一致的問題,導(dǎo)致模型優(yōu)化結(jié)果產(chǎn)生偏差,過濾性能受到很大影響。該文通過直接優(yōu)化評價指標(biāo)1-AUC來提升過濾器性能,將垃圾郵件過濾問題轉(zhuǎn)化成排序問題進(jìn)行建模,提出了在線排序邏輯回歸學(xué)習(xí)算法,解決了在線學(xué)習(xí)中的郵件得分偏移問題;綜合應(yīng)用TONE算法和重采樣技術(shù),提出參數(shù)權(quán)重更新算法,解決模型學(xué)習(xí)中在線調(diào)整模型參數(shù)時的處理速度問題,滿足垃圾郵件實(shí)時過濾的要求。在垃圾郵件過濾公開評測數(shù)據(jù)集上的實(shí)驗結(jié)果表明,基于在線排序邏輯回歸模型的過濾結(jié)果全面優(yōu)于在線邏輯回歸模型的過濾結(jié)果。
[Abstract]:Spam filtering is an important problem in network information processing. The current research generally regards the filtering problem as a binary classification problem, and there exists the problem that the model optimization goal is inconsistent with the performance evaluation index (1-AUC), which results in the deviation of the model optimization results and greatly affects the filtering performance. In this paper, the filter performance is improved by directly optimizing the evaluation index 1-AUC, and the spam filtering problem is transformed into a sort problem for modeling. An online sorting logical regression learning algorithm is proposed to solve the problem of mail score offset in online learning. By using TONE algorithm and resampling technology, a parameter weight updating algorithm is proposed to solve the problem of processing speed when model parameters are adjusted online in model learning, and meet the requirements of spam real-time filtering. The experimental results on the public evaluation data set of spam filtering show that the filtering result based on the online sorting logical regression model is better than that of the online logical regression model.
【作者單位】： 哈爾濱理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;黑龍江工程學(xué)院計算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：國家自然科學(xué)基金資助項目(60903083) 黑龍江省新世紀(jì)人才項目(1155-ncet-008) 教育部博士點(diǎn)新教師基金資助項目(20092303120005)
【分類號】：TP393.098

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曉齊;啟明星辰推出 天澄防垃圾郵件系統(tǒng)[J];信息網(wǎng)絡(luò)安全;2004年08期

2 ;啟明星辰公司天澄防垃圾郵件系統(tǒng)問世[J];電力信息化;2004年06期

3 ;垃圾郵件殺手[J];電腦知識與技術(shù);2001年Z1期

4 王軍;如何應(yīng)對垃圾郵件[J];家庭電子;2001年01期

5 阿文;;惱人的垃圾郵件[J];大眾科技;2001年05期

6 志杰;垃圾郵件大清除[J];計算機(jī)與農(nóng)業(yè);2002年03期

7 Michael J.Miller;鏟除垃圾郵件[J];個人電腦;2003年10期

8 李瑞江;淺談反垃圾郵件技術(shù)的應(yīng)用[J];新疆師范大學(xué)學(xué)報(自然科學(xué)版);2003年02期

9 史兵;企業(yè)電子郵件系統(tǒng)的困境和對策[J];計算機(jī)安全;2004年05期

10 田青;個人用戶如何對付垃圾郵件[J];電子世界;2004年07期

相關(guān)會議論文 前10條

1 王琦;;基于貝葉斯決策樹算法的垃圾郵件識別機(jī)制[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

2 李軍;何曉寧;黃成哲;齊浩亮;雷國華;;基于特征貢獻(xiàn)度的垃圾郵件過濾方法[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

3 李勁;岳昆;杭菲璐;;一種基于自適應(yīng)Markov模型的中文垃圾郵件過濾方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

4 劉紅翼;;一種垃圾郵件過濾器的設(shè)計與實(shí)現(xiàn)[A];廣西計算機(jī)學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

5 米淑云;辛陽;羅群;;一種新型垃圾郵件過濾系統(tǒng)的設(shè)計和研究[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

6 薛亞楠;廖聞劍;彭艷兵;;垃圾郵件行為識別研究[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

7 趙利;廖聞劍;彭艷兵;;基于中文主題的垃圾郵件過濾方法研究[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

8 楊曉光;李寧;吳昊;;基于P2P信譽(yù)體系垃圾郵件過濾系統(tǒng)的設(shè)計與實(shí)現(xiàn)[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（下）[C];2006年

9 陳娟;葛辛;羅向陽;劉粉林;;基于反向查詢技術(shù)和貝葉斯算法的反垃圾郵件方案[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

10 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應(yīng)用分析[A];中國造船工程學(xué)會電子技術(shù)學(xué)術(shù)委員會2006學(xué)術(shù)年會論文集（上冊）[C];2006年

相關(guān)重要報紙文章 前10條

1 陳翔;垃圾郵件7月忙換招[N];中國計算機(jī)報;2007年

2 ;把握特征阻斷垃圾郵件[N];中國計算機(jī)報;2007年

3 敏;拒絕垃圾郵件5準(zhǔn)則[N];中國電腦教育報;2002年

4 合 文;阻止垃圾郵件的蔓延[N];網(wǎng)絡(luò)世界;2002年

5 侯海龍;McAfee 垃圾郵件的終結(jié)者[N];中國計算機(jī)報;2003年

6 ;砍斷垃圾郵件黑手[N];計算機(jī)世界;2003年

7 ;怎樣打擊垃圾郵件[N];網(wǎng)絡(luò)世界;2003年

8 姚曉晨;垃圾郵件“猛于虎” 誰該成為合格“馴獸師”[N];中國改革報;2008年

9 苗得雨;摧毀垃圾郵件[N];中國電腦教育報;2003年

10 高偉;垃圾郵件別煩我[N];中國電腦教育報;2004年

相關(guān)博士學(xué)位論文 前10條

1 陳彬;垃圾郵件的特征選擇及檢測方法研究[D];華南理工大學(xué);2010年

2 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學(xué);2010年

3 劉衛(wèi)紅;垃圾郵件檢測與過濾關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2010年

4 詹川;反垃圾郵件技術(shù)的研究[D];電子科技大學(xué);2005年

5 董建設(shè);協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究[D];蘭州理工大學(xué);2009年

6 劉震;垃圾郵件過濾理論和關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2008年

7 王美珍;垃圾郵件行為模式識別與過濾方法研究[D];華中科技大學(xué);2009年

8 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學(xué);2011年

9 董大凡;基于度量空間的P2P網(wǎng)絡(luò)相似搜索技術(shù)研究及應(yīng)用[D];南開大學(xué);2010年

10 王斌斌;僵尸網(wǎng)絡(luò)檢測方法研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 楊慧娟;基于語義體與模糊聚類的中文垃圾郵件過濾方法研究[D];蘭州理工大學(xué);2011年

2 郭學(xué)敏;基于語義的廣告圖像垃圾郵件過濾技術(shù)研究[D];燕山大學(xué);2010年

3 毛巖;基于行為識別的垃圾郵件過濾技術(shù)的研究[D];大慶石油學(xué)院;2010年

4 孫吉譚;基于內(nèi)容的垃圾郵件意圖分析方法研究[D];吉林大學(xué);2011年

5 張青;中文垃圾郵件過濾技術(shù)研究[D];武漢理工大學(xué);2011年

6 李揚(yáng)繼;垃圾郵件特征的判別模型研究[D];四川大學(xué);2005年

7 楊興華;基于多模態(tài)特征的垃圾郵件過濾技術(shù)研究[D];西安電子科技大學(xué);2011年

8 趙海濤;基于模糊支持向量機(jī)的垃圾郵件過濾技術(shù)研究[D];重慶師范大學(xué);2010年

9 劉菊新;垃圾圖像過濾系統(tǒng)的實(shí)現(xiàn)[D];浙江大學(xué);2010年

10 金彩琴;基于意圖分析的垃圾郵件過濾研究[D];陜西師范大學(xué);2011年

，

本文編號：2243066