垃圾短信（Spam,Messages,SM）是指未經過用戶同意向用戶發(fā)送不愿接收的商業(yè)廣告或者不符合法律規(guī)范的短信。隨著手機的普及,垃圾短信在日常生活日益泛濫,已經嚴重的影響到了人們的正常生活娛樂,乃至社會的穩(wěn)定。中國移動在2017年月攔截垃圾短信就已經達到2億多條,這個數(shù)量隨著時代的變化也在以倍數(shù)的速度不斷遞增,如今每個人月平均收到的垃圾短信也達到了9條左右。大數(shù)據(jù)時代的到來使得大量個人信息數(shù)據(jù)得以沉淀和積累,但是龐大的數(shù)據(jù)量缺乏有效的整理規(guī)范,在面對量級如此巨大的短信數(shù)據(jù)時,為了保證更良好的用戶體驗,如何從數(shù)據(jù)中挖掘出更多有意義的信息為人們免受垃圾短信騷擾成為當前亟待解決的問題。隨著深度學習和自然語言處理領域的高速發(fā)展,深度學習模型在提取句子信息的能力進一步得到肯定,本文針對垃圾短信分類中的深度學習方法進行深入的研究,具體研究內容及結果如下:首先對垃圾短信預處理時,發(fā)現(xiàn)數(shù)據(jù)噪音數(shù)據(jù)大和jieba分詞不能識別新詞。針對這一個問題,數(shù)據(jù)采用流程化處理,包括“繁體字轉換,數(shù)字和特殊符號替換,錯別字糾正”三部分。對未能識別的新詞,引入了改進的新詞識別工具,將獲得的新詞字典導入jieba自定... 

【文章來源】：北京工業(yè)大學北京市 211工程院校

【文章頁數(shù)】：74 頁

【學位級別】：碩士

【部分圖文】：

數(shù)據(jù)挖掘說明Figure2-1Datamininginstructions

北京工業(yè)大學工程碩士專業(yè)學位論文度擬合。其中‘l’損失函數(shù)，可以采用泰勒展開，進行計算。 ( △ ) ( ) ( )△ ( ) △ (2 = ( 1) ( ) , = ( 1) ( ) ，對原損失函數(shù)替： ( )= ( ) ( ) ( ) ( ) 于 ( ) 的結果是一個定值，不存在優(yōu)化的問題，所以損失函數(shù)變成 ( )= ∑ ( ) ( ) ( ) (2下來定義樹的結構，W 表示每顆 CART 樹的權重，q 表示 CART 樹的結構。體 ( )表示落在哪個葉子節(jié)點上了。

圖 2-4 xgboost 樹的復雜度定義Figure 2-4 Definition of the complexity of the xgboost tree樹結構和樹的復雜度公式代入損失函數(shù)中，我們得到一個很簡潔的結果。 ( )= ∑ ( ) ( ) T ∑ = ∑ ∑ ∑ (通過對損失函數(shù)求導數(shù)，得到權重的表示方式，最后得到一個關于一階梯二階梯度的表示函數(shù)。

【參考文獻】：
期刊論文
[1]壓降工信部12321平臺垃圾短信被舉報率淺談[J]. 張俊.  信息通信. 2017(07)
[2]2016年12月12321受理網絡不良與垃圾信息舉報數(shù)據(jù)分析[J].   互聯(lián)網天地. 2017(01)
[3]12321舉報中心正式開通不良和垃圾彩信舉報通道[J].   中國信息安全. 2012(11)
[4]垃圾短信治理對策研究[J]. 黃良友.  重慶郵電大學學報(社會科學版). 2010(03)

碩士論文
[1]基于文本分類的多層次垃圾短信過濾系統(tǒng)研究[D]. 李雪梅.重慶理工大學 2012



本文編號：3043750