計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展為人們的生活方式帶來了新的變化,互聯(lián)網(wǎng)社交、電子商務(wù)以及互聯(lián)網(wǎng)金融已經(jīng)融入了人們的日常生活。與此同時,一些惡意的鏈接,即惡意URL會將用戶導(dǎo)向惡意攻擊性的網(wǎng)站,或者將用戶與惡意文件連接起來,或者將用戶導(dǎo)向釣魚網(wǎng)站,伺機竊取用戶的賬戶等信息,侵犯用戶的個人隱私,帶來很大的風(fēng)險會造成用戶的財產(chǎn)等損失。在大數(shù)據(jù)時代背景下,如何實時高效地檢測出這些惡意URL并及時做出報警和禁止訪問等防護措施,以減少惡意URL對海量網(wǎng)絡(luò)用戶的威脅和侵害,始終是網(wǎng)絡(luò)安全領(lǐng)域中需要解決的問題。本文采用在線學(xué)習(xí)算法訓(xùn)練惡意URL檢測模型,充分利用了在線學(xué)習(xí)算法的模型更新效率高、以及利用有限的計算機資源實現(xiàn)對無界數(shù)據(jù)處理的特點。使用流式計算框架Flink實現(xiàn)了對消息系統(tǒng)Kafka中網(wǎng)絡(luò)流數(shù)據(jù)的URL的實時消費,通過在線學(xué)習(xí)算法訓(xùn)練得到的檢測模型實現(xiàn)了對URL的近實時檢測。同時利用檢索引擎ElasticSearch實現(xiàn)了對大規(guī)模網(wǎng)絡(luò)流數(shù)據(jù)的檢索分析。本文主要完成了如下工作。1.針對采用離線批量數(shù)據(jù)訓(xùn)練URL的檢測模型耗時長,模型不能及時更新導(dǎo)致URL分類模型時效性不強,以及樣本數(shù)據(jù)量過大無... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【圖文】：

HTTP數(shù)據(jù)

46圖 5.1 是解析網(wǎng)絡(luò)數(shù)據(jù)包得到的 HTTP 的數(shù)據(jù)，圖 5.2 是解析網(wǎng)絡(luò)數(shù)據(jù)包得到NS 數(shù)據(jù)，本測試顯示解析得到的所有的數(shù)據(jù)與設(shè)計的字段值相匹配，說明了 DP

測試結(jié)果如圖 5.3 所示，左側(cè)是消息系統(tǒng)的生產(chǎn)者，右側(cè)是消息系統(tǒng)的消費者過 Kafka 創(chuàng)建的 Topic 主題，在生產(chǎn)者端生產(chǎn)消息，消費者端可成功對消息進行消費，說明成功完成了數(shù)據(jù)的實時傳輸。5.2.3 惡意 URL 檢測結(jié)果測試

【參考文獻】：
期刊論文
[1]在線學(xué)習(xí)算法綜述[J]. 潘志松,唐斯琪,邱俊洋,胡谷雨.  數(shù)據(jù)采集與處理. 2016(06)
[2]面向大數(shù)據(jù)分析的在線學(xué)習(xí)算法綜述[J]. 李志杰,李元香,王峰,何國良,匡立.  計算機研究與發(fā)展. 2015(08)
[3]惡意網(wǎng)頁識別研究綜述[J]. 沙泓州,劉慶云,柳廳文,周舟,郭莉,方濱興.  計算機學(xué)報. 2016(03)

博士論文
[1]面向大規(guī)模網(wǎng)絡(luò)流量的URL實時分類關(guān)鍵技術(shù)研究[D]. 沙泓州.北京郵電大學(xué) 2015



本文編號：3275195