本文選題：文本分類 + 垃圾郵件　； 參考：《電信科學(xué)》2017年11期

【摘要】：垃圾郵件過(guò)濾技術(shù)在保證信息安全、提高資源利用、分揀信息數(shù)據(jù)等方面都發(fā)揮著重要作用。然而,垃圾郵件的出現(xiàn)影響了用戶的體驗(yàn),并且會(huì)造成不必要的經(jīng)濟(jì)與時(shí)間損失。針對(duì)現(xiàn)有的垃圾郵件過(guò)濾技術(shù)的不足,基于多個(gè)主題詞理論,構(gòu)建了基于樸素貝葉斯的垃圾郵件分類方法。在郵件主題獲取中,采用主題模型LDA得到郵件的相關(guān)主題及主題詞;并進(jìn)一步采用Word2Vec尋找主題詞的同義詞和關(guān)聯(lián)詞,擴(kuò)展主題詞集合。在郵件分類中,對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)學(xué)習(xí)得到詞語(yǔ)的先驗(yàn)概率;基于擴(kuò)展的主題詞集合及其概率,通過(guò)貝葉斯公式推導(dǎo)得到某個(gè)主題和某封郵件的聯(lián)合概率,以此作為垃圾郵件判定的依據(jù)。同時(shí),基于主題模型的垃圾郵件過(guò)濾系統(tǒng)具有簡(jiǎn)潔易應(yīng)用的特點(diǎn)。通過(guò)與其他典型垃圾郵件過(guò)濾方法的對(duì)比實(shí)驗(yàn),證明基于主題模型的垃圾郵件分類方法及基于Word2Vec的改進(jìn)方法均能有效提高垃圾郵件過(guò)濾的準(zhǔn)確度。
[Abstract]:Spam filtering technology plays an important role in ensuring information security, improving resource utilization and sorting information data. However, the emergence of spam affects the user's experience and causes unnecessary economic and time losses. Aiming at the deficiency of the existing spam filtering technology, a new method of spam classification based on naive Bayes is constructed based on the theory of multiple subject words. The topic model LDA is used to obtain the topic and the theme words, and the Word2Vec is used to find the synonyms and related words of the subject words to expand the collection of the theme words. In mail classification, the priori probability of words is obtained by statistical learning of training data set, and the joint probability of a topic and a message is derived by Bayesian formula based on the extended subject word set and its probability. This is the basis for judging spam. At the same time, the spam filtering system based on topic model is simple and easy to use. By comparing with other typical spam filtering methods, it is proved that both the method based on topic model and the improved method based on Word2Vec can effectively improve the accuracy of spam filtering.
【作者單位】： 華東理工大學(xué)信息科學(xué)與工程學(xué)院;
【分類號(hào)】：TP393.098

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林琛;李弼程;;一種有效的垃圾郵件過(guò)濾新方法[J];計(jì)算機(jī)應(yīng)用;2006年08期

2 張羿;周建國(guó);晏蒲柳;;垃圾郵件過(guò)濾系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年18期

3 徐衛(wèi);;一種垃圾郵件過(guò)濾網(wǎng)關(guān)的設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2006年35期

4 項(xiàng)濤;龔儉;丁偉;;垃圾郵件過(guò)濾系統(tǒng)的評(píng)估模型研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年18期

5 歐德寧;馬軍;;基于內(nèi)含鏈接特征分析的垃圾郵件過(guò)濾技術(shù)[J];鄭州大學(xué)學(xué)報(bào)(理學(xué)版);2009年02期

6 金彩琴;裘國(guó)永;;對(duì)垃圾郵件過(guò)濾技術(shù)的問(wèn)題研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年09期

7 丁上凌;呂后坤;;垃圾郵件過(guò)濾技術(shù)研究[J];漯河職業(yè)技術(shù)學(xué)院學(xué)報(bào);2012年02期

8 趙文清;一種混合型垃圾郵件過(guò)濾系統(tǒng)的研究與設(shè)計(jì)[J];山西電子技術(shù);2004年06期

9 陳長(zhǎng)偉;劉罡;洪躍楓;;電子垃圾郵件過(guò)濾技術(shù)的應(yīng)用[J];辦公自動(dòng)化;2004年06期

10 劉震,佘X,周明天;基于多級(jí)屬性集的垃圾郵件過(guò)濾技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2005年07期

相關(guān)會(huì)議論文 前10條

1 李軍;何曉寧;黃成哲;齊浩亮;雷國(guó)華;;基于特征貢獻(xiàn)度的垃圾郵件過(guò)濾方法[A];第六屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2010年

2 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過(guò)濾研究[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

3 劉紅翼;;一種垃圾郵件過(guò)濾器的設(shè)計(jì)與實(shí)現(xiàn)[A];廣西計(jì)算機(jī)學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

4 張尼;方濱興;;垃圾郵件過(guò)濾技術(shù)綜述[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)'2005論文集（下冊(cè)）[C];2005年

5 張志斌;施水才;呂學(xué)強(qiáng);;基于貝葉斯方法的中文垃圾郵件過(guò)濾技術(shù)綜述[A];中文信息處理前沿進(jìn)展——中國(guó)中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C];2006年

6 周立兵;柳景超;;貝葉斯理論在垃圾郵件過(guò)濾中的應(yīng)用分析[A];中國(guó)造船工程學(xué)會(huì)電子技術(shù)學(xué)術(shù)委員會(huì)2006學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2006年

7 張海雷;王會(huì)珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過(guò)濾技術(shù)比較分析[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

8 米淑云;辛陽(yáng);羅群;;一種新型垃圾郵件過(guò)濾系統(tǒng)的設(shè)計(jì)和研究[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

9 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過(guò)濾[A];第四屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集（上）[C];2008年

10 牛明珠;;病毒和垃圾郵件過(guò)濾技術(shù)淺析[A];二○○九年全國(guó)電力企業(yè)信息化大會(huì)論文集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 ;測(cè)試?yán)]件過(guò)濾系統(tǒng)[N];網(wǎng)絡(luò)世界;2003年

2 ;如何選擇和使用UTM設(shè)備[N];網(wǎng)絡(luò)世界;2009年

3 本報(bào)記者 朱杰;中小企業(yè)網(wǎng)絡(luò)也能云安全[N];中國(guó)計(jì)算機(jī)報(bào);2009年

4 宋偉;終結(jié)混合威脅攻擊[N];中國(guó)計(jì)算機(jī)報(bào);2004年

5 本報(bào)記者 宋麗娜;整合安全平臺(tái)的魅力[N];網(wǎng)絡(luò)世界;2004年

6 湖北 張湘凱;慎用Web郵箱過(guò)濾功能[N];電腦報(bào);2002年

7 張振;CA eTrust Secure Content Manager提升運(yùn)營(yíng)效率[N];電腦商報(bào);2003年

8 雷雷;如虎添翼加入U(xiǎn)TM的3D-SMP[N];科技日?qǐng)?bào);2006年

9 記者 馬霞;下一代防火墻整體性能達(dá)320G[N];科技日?qǐng)?bào);2012年

10 ;FCI過(guò)濾惡意流量[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)博士學(xué)位論文 前4條

1 董建設(shè);協(xié)作式垃圾郵件過(guò)濾關(guān)鍵技術(shù)研究[D];蘭州理工大學(xué);2009年

2 惠孛;基于即時(shí)分類的垃圾郵件過(guò)濾關(guān)鍵技術(shù)的研究[D];電子科技大學(xué);2009年

3 鄧蔚;垃圾郵件過(guò)濾中的敵手分類問(wèn)題研究[D];電子科技大學(xué);2011年

4 孫晶濤;基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)研究[D];蘭州理工大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 甘棠儀;基于屬性論方法的垃圾郵件過(guò)濾系統(tǒng)設(shè)計(jì)與研究[D];上海海事大學(xué);2005年

2 王申;基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)的若干研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

3 田月霞;基于疫苗機(jī)制的垃圾郵件過(guò)濾模型的研究[D];鄭州輕工業(yè)學(xué)院;2015年

4 鄧曾;遺傳算法和貝葉斯模型在垃圾郵件過(guò)濾中的應(yīng)用[D];電子科技大學(xué);2015年

5 徐兆志;基于AAPE分類模型的垃圾郵件過(guò)濾技術(shù)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 次曲(Tse Qu);基于樸素貝葉斯算法的藏文垃圾郵件過(guò)濾關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

7 王浩;基于發(fā)送方異常行為檢測(cè)的垃圾郵件過(guò)濾系統(tǒng)的研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

8 魏如玉;中文垃圾郵件過(guò)濾方法的研究[D];遼寧大學(xué);2016年

9 胡瑋;基于語(yǔ)義的垃圾郵件過(guò)濾技術(shù)的研究[D];重慶大學(xué);2016年

10 于洋;高校辦公系統(tǒng)垃圾郵件過(guò)濾DTFS算法的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2015年

，

本文編號(hào)：1939363