隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展和移動(dòng)智能終端的普及,人們在體驗(yàn)移動(dòng)通信所帶來便利的同時(shí),也時(shí)常遭受到大量垃圾信息的影響。目前,垃圾信息以各種媒體形式,并借助方便的即時(shí)通信進(jìn)行傳播,給社會(huì)造成極大危害。為營造良好的通信環(huán)境,研究準(zhǔn)確、高效的垃圾即時(shí)消息檢測及過濾方法一直是人們關(guān)注的焦點(diǎn)。針對移動(dòng)互聯(lián)網(wǎng)環(huán)境下垃圾即時(shí)消息的特點(diǎn),本文從即時(shí)消息文本內(nèi)容出發(fā),設(shè)計(jì)并實(shí)現(xiàn)了基于樸素貝葉斯方法的垃圾即時(shí)消息檢測。首先將搜集的垃圾即時(shí)消息數(shù)據(jù)集分成訓(xùn)練集和測試集兩部分,分別對其進(jìn)行文本預(yù)處理,并將向量表示的即時(shí)消息文本特征用于訓(xùn)練樸素貝葉斯分類器,再將測試集輸入給訓(xùn)練好的分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明基于樸素貝葉斯算法的垃圾即時(shí)消息檢測方法訓(xùn)練時(shí)間短,實(shí)現(xiàn)簡單。由于基于樸素貝葉斯算法的垃圾即時(shí)消息檢測方法忽略了即時(shí)消息文本特征之間的聯(lián)系,導(dǎo)致分類準(zhǔn)確率和召回率都偏低。本文利用深度信念網(wǎng)絡(luò)模型能充分挖掘文本特征之間的相關(guān)性,設(shè)計(jì)并實(shí)現(xiàn)了基于深度信念網(wǎng)絡(luò)模型的文本分類器來實(shí)現(xiàn)垃圾即時(shí)消息的檢測。其過程為首先對垃圾即時(shí)消息進(jìn)行預(yù)處理,之后采用信息增益(IG)方法提取有效特征,通過TF-IDF權(quán)重計(jì)算對選取的特征進(jìn)...

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1垃圾即時(shí)消息檢測流程圖

中南民族大學(xué)專業(yè)碩士學(xué)位論文基于樸素貝葉斯算法的垃圾即時(shí)消消息檢測總體設(shè)計(jì)學(xué)習(xí)算法的檢測方法通常分為兩個(gè)階段，一是構(gòu)造分建的分類器進(jìn)行檢測的測試階段。如圖2.1所示，即本分類器，主要包括構(gòu)建垃圾即時(shí)消息語料庫、預(yù)處練分類器等一系列步驟。對于待檢測的數(shù)據(jù)樣本，也和文本表示等操....

圖2.2正向最大匹配法分詞過程

9圖2.2正向最大匹配法分詞過程向最大匹配法對垃圾即時(shí)消息進(jìn)行分詞，得到表2.1分詞結(jié)果刷卡送好禮！即日起至11月20日，使用您名下任意中行付寶快捷支付消費(fèi)任意一筆滿59元即可獲贈(zèng)2萬積分（限千積分即可兌換星巴克任意大杯飲品，周日更享兌一送一刷卡送好禮....

圖2.3貝葉斯分類器設(shè)計(jì)流程圖

圖2.3貝葉斯分類器設(shè)計(jì)流程圖實(shí)現(xiàn)消息文本語料庫涉及個(gè)人隱私問題，目前還沒有一個(gè)公實(shí)驗(yàn)數(shù)據(jù)是從網(wǎng)上搜集和移動(dòng)手機(jī)終時(shí)消息，其中垃圾即時(shí)消息600條，分為騷擾類、廣告推銷類、違法類和詐消息和普通消息等。選取100條，正常消息100條共500條訓(xùn)練集和測試集，其中....

圖2.4貝葉斯分類器訓(xùn)練時(shí)長和分類時(shí)長對比圖

建貝葉斯分類器，首先提取出用于訓(xùn)練分類器的特征{,,...12Ttt要構(gòu)建訓(xùn)練集和測試集，對訓(xùn)練集中的特征進(jìn)行提取，本文以詞為算詞頻，選取權(quán)重較大的詞作為特征項(xiàng)集合；對于選定的所有特征每個(gè)特征項(xiàng)的特征值以及在各類即時(shí)消息文本訓(xùn)練集中出現(xiàn)的頻型庫，從而為分類器提供分類依據(jù)....

本文編號(hào)：3994904