本文選題：垃圾短信 + 貝葉斯分類��； 參考：《電子科技大學(xué)》2009年碩士論文

【摘要】： 近年來,隨著中國手機(jī)用戶數(shù)的增長,手機(jī)短消息業(yè)務(wù)得到了迅猛發(fā)展,但同時垃圾短信也以非�？斓乃俣仍谠鲩L。目前,垃圾短信過濾技術(shù)主要有黑名單過濾、關(guān)鍵詞過濾和基于文本分類的內(nèi)容過濾。黑名單過濾和關(guān)鍵詞過濾能快速的過濾垃圾短信,但其過濾的準(zhǔn)確率不高;基于文本分類的短信過濾的準(zhǔn)確率主要依賴于其訓(xùn)練樣本的數(shù)量及質(zhì)量,由于日常短信涉及個人的私隱,短信中心從不對外公布,現(xiàn)有的短信樣本很少,因此單純依靠文本分類的短信過濾其準(zhǔn)確率也不高。同時,現(xiàn)有的過濾技術(shù)都采用逐條檢測的方式,對于每天有大量短信息的短信中心來說,其運算量是很大的,這樣會造成短信服務(wù)中心網(wǎng)絡(luò)堵塞。因此,從現(xiàn)有的技術(shù)上來說,垃圾短信的過濾在準(zhǔn)確率和效率方面仍然不能滿足現(xiàn)實需要。 本文將針對現(xiàn)有短信過濾技術(shù)的不足,研究有效的解決或改進(jìn)的方法,同時引入新的技術(shù)與原有的過濾技術(shù)相結(jié)合,使垃圾短信過濾系統(tǒng)能夠具有更好的過濾性能。本文所做的主要工作如下: 1.研究了應(yīng)用在垃圾短信過濾系統(tǒng)中的關(guān)鍵詞查找算法,該算法采用WM算法的多模式匹配思想,通過預(yù)處理建立的哈希表來加快匹配速度,并且根據(jù)垃圾短信的特征,提出了用壓縮存儲的TRIE樹來組織模式串的方法,加快了查找速度。 2.分析了主要的文本分類技術(shù),重點敘述基于最小風(fēng)險的貝葉斯分類在短信過濾中的應(yīng)用。 3.提出用日志分析的方法來分析已經(jīng)過濾的短信,提取有用的數(shù)據(jù),更新關(guān)鍵詞庫及分類訓(xùn)練樣本,實現(xiàn)系統(tǒng)的自我優(yōu)化。 4.將貝葉斯分類與新的過濾方法(包括流量檢測、抽樣檢測、日志分析)結(jié)合,在保證短信過濾準(zhǔn)確率的情況下,提高短信過濾效率。最后,給出整個垃圾短信過濾系統(tǒng)的設(shè)計與實現(xiàn)。
[Abstract]:In recent years, with the increase of the number of mobile phone users in China, the short message service of mobile phone has been developing rapidly, but at the same time, the spam message is also growing at a very fast speed. At present, spam filtering technology mainly includes black list filtering, keyword filtering and text classification based internal volume filtering. Blacklist filtering and keyword filtering can be fast. Spam messages are filtered, but the accuracy of filtering is not high; the accuracy of text filtering based on text categorization is mainly dependent on the number and quality of the training samples. As the daily short message involves personal privacy, the SMS center is never published and the existing SMS samples are very few, so the text simply relies on text categorization to filter its accuracy. The rate is not high. At the same time, the existing filtering technology uses one by one detection method. For short message centers with a large number of short messages every day, the amount of operation is very large, which will cause the congestion of the SMS service center network. Therefore, from the existing technology, the filtering of spam messages is still not satisfied with the accuracy and efficiency. You need it.
This article will aim at the shortage of the existing SMS filtering technology, and study the effective solution or improvement method, and combine the new technology with the original filtering technology, so that the spam message filtering system can have better filtering performance. The main work done in this paper is as follows:
1. study the keyword search algorithm used in the spam message filtering system. The algorithm uses the multi pattern matching idea of WM algorithm to speed up the matching speed by preprocessing the hash table. And according to the characteristics of the spam message, a method of organizing the pattern string with the compressed storage TRIE tree is proposed to speed up the search speed.
2., the main text categorization techniques are analyzed, and the application of Bias classification based on minimum risk in short message filtering is emphasized.
3. the method of log analysis is used to analyze the filtered SMS, extract useful data, update the key word library and classify training samples, and realize the self optimization of the system.
4. combining the Bias classification with the new filtering methods (including flow detection, sampling detection and log analysis), the efficiency of SMS filtering is improved under the condition of ensuring the accuracy of SMS filtering. Finally, the design and implementation of the whole spam message filtering system are given.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2009
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張兢;李雪梅;徐偉;李成勇;;改進(jìn)的人工免疫算法及在垃圾短信過濾系統(tǒng)中的應(yīng)用[J];重慶理工大學(xué)學(xué)報(自然科學(xué));2011年08期

2 孫天昊;陳飛;朱慶生;曹峰;;基于貝葉斯分類的增強(qiáng)學(xué)習(xí)協(xié)商策略[J];計算機(jī)科學(xué);2011年09期

3 李玉峰;郜曉晶;;中文垃圾郵件過濾綜合方法[J];計算機(jī)應(yīng)用與軟件;2011年08期

4 張如艷;王士同;高恩芝;;基于Parzen核估計的最大后驗概率分類方法[J];計算機(jī)工程;2011年16期

5 汪明;張征;;SQL Server 2008 R2貝葉斯算法研究[J];河北軟件職業(yè)技術(shù)學(xué)院學(xué)報;2011年03期

6 鄒薇;王會進(jìn);;基于樸素貝葉斯的EM缺失數(shù)據(jù)填充算法[J];微型機(jī)與應(yīng)用;2011年16期

7 陳葉旺;余金山;;一種改進(jìn)的樸素貝葉斯文本分類方法[J];華僑大學(xué)學(xué)報(自然科學(xué)版);2011年04期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)會議論文 前10條

1 陳猛;郭華平;范明;;一種基于貝葉斯的多窗口數(shù)據(jù)流分類模型[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（二）[C];2008年

2 李偉紅;龔衛(wèi)國;陳偉民;梁毅雄;張紅梅;;基于中國人人臉區(qū)域特征的貝葉斯分類法研究[A];中國儀器儀表學(xué)會第六屆青年學(xué)術(shù)會議論文集[C];2004年

3 高霞;;創(chuàng)建基于貝葉斯分類的農(nóng)作物病蟲害等級預(yù)測模型[A];第26屆中國氣象學(xué)會年會農(nóng)業(yè)氣象防災(zāi)減災(zāi)與糧食安全分會場論文集[C];2009年

4 張尼;郭達(dá);張智江;裴小燕;;基于主叫號碼發(fā)送行為分析的垃圾短信識別方法[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2009年年會論文集（上冊）[C];2009年

5 劉玉潔;謝小萍;杜秉玉;;利用FY-1D全球數(shù)據(jù)監(jiān)測北極冰雪覆蓋[A];中國氣象學(xué)會2006年年會“衛(wèi)星遙感技術(shù)進(jìn)展及應(yīng)用”分會場論文集[C];2006年

6 程新榮;楊仁剛;;網(wǎng)頁自動分類在搜索引擎上的應(yīng)用研究[A];2007'中國儀器儀表與測控技術(shù)交流大會論文集（二）[C];2007年

7 李濤;;垃圾短信技術(shù)解決方案探討[A];第十屆中國科協(xié)年會信息化與社會發(fā)展學(xué)術(shù)討論會分會場論文集[C];2008年

8 張文波;蔣春華;姚天f ;;基于貝葉斯及多模式串模糊匹配算法的不良短消息甄別混合模型[A];中國計算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

9 邢向暉;侯賓;;移動網(wǎng)絡(luò)中垃圾短信監(jiān)控技術(shù)解決方案研究[A];第十屆中國科協(xié)年會信息化與社會發(fā)展學(xué)術(shù)討論會分會場論文集[C];2008年

10 袁野;胡邦輝;劉丹軍;蘇宏琛;;基于貝葉斯分類判別方法的雷暴預(yù)報研究[A];第26屆中國氣象學(xué)會年會災(zāi)害天氣事件的預(yù)警、預(yù)報及防災(zāi)減災(zāi)分會場論文集[C];2009年

相關(guān)博士學(xué)位論文 前10條

1 陳景年;選擇性貝葉斯分類算法研究[D];北京交通大學(xué);2008年

2 惠孛;基于即時分類的垃圾郵件過濾關(guān)鍵技術(shù)的研究[D];電子科技大學(xué);2009年

3 王傳旭;視頻圖像中人體目標(biāo)的檢測方法研究[D];中國海洋大學(xué);2007年

4 張紀(jì)陽;蛋白質(zhì)組學(xué)中串聯(lián)質(zhì)譜數(shù)據(jù)搜庫結(jié)果質(zhì)量控制方法研究[D];國防科學(xué)技術(shù)大學(xué);2007年

5 劉凱;基于知識發(fā)現(xiàn)的珠江口濕地識別監(jiān)測及演變規(guī)律挖掘研究[D];中國科學(xué)院研究生院（廣州地球化學(xué)研究所）;2007年

6 張文濤;暫態(tài)電能質(zhì)量問題研究[D];天津大學(xué);2009年

7 夏定元;基于內(nèi)容的圖像檢索通用技術(shù)研究及應(yīng)用[D];華中科技大學(xué);2004年

8 魏維;基于統(tǒng)計學(xué)的視頻語義分析與提取技術(shù)研究[D];南京理工大學(xué);2006年

9 齊國君;多類別模式分類技術(shù)及其在多媒體分析上的應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2009年

10 杜炅;離散型隨機(jī)變量的貝葉斯分類方法研究[D];北京大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 彭興媛;樸素貝葉斯分類改進(jìn)算法的研究[D];重慶大學(xué);2012年

2 何孝金;垃圾短信過濾系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2009年

3 秦鑫;一種蒙特卡羅貝葉斯分類的改進(jìn)方法[D];華中師范大學(xué);2004年

4 段晶;樸素貝葉斯分類及其應(yīng)用研究[D];大連海事大學(xué);2011年

5 李慧;基于貝葉斯分類方法的中文問句分類研究[D];石家莊鐵道學(xué)院;2010年

6 阮樂中;基于貝葉斯分類的多代理入侵檢測研究[D];合肥工業(yè)大學(xué);2003年

7 鄭默;貝葉斯分類算法的研究與應(yīng)用[D];重慶大學(xué);2011年

8 曹玲玲;貝葉斯分類方法的對比研究與改進(jìn)算法[D];西北大學(xué);2011年

9 朱杰;云計算在基于貝葉斯分類的垃圾短信過濾中的研究與應(yīng)用[D];電子科技大學(xué);2010年

10 謝嶸;郵件服務(wù)器垃圾郵件過濾技術(shù)研究及實現(xiàn)[D];廣東工業(yè)大學(xué);2005年

，

本文編號：2059583