本文關(guān)鍵詞：基于模板檢測的違法網(wǎng)站識別

  更多相關(guān)文章： 違法網(wǎng)站識別 模板檢測 HTTP POST 圖分析

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,傳統(tǒng)的違法犯罪活動不斷借助新技術(shù)改頭換面,死灰復(fù)燃,對我國經(jīng)濟發(fā)展以及社會穩(wěn)定構(gòu)成極大威脅。公安部投入了大量人力來打擊違法網(wǎng)絡(luò)活動,但主要依靠民眾舉報和人工篩選,耗時耗力。目前主流的違法網(wǎng)站自動識別技術(shù)有黑名單、靜態(tài)分析和動態(tài)檢測。黑名單可提供快速便捷的可疑網(wǎng)址查詢服務(wù),但維護成本高;靜態(tài)分析理論完備,技術(shù)成熟,但數(shù)據(jù)源限于靜態(tài)網(wǎng)頁數(shù)據(jù),實時性不高;動態(tài)檢測主要針對網(wǎng)站掛馬,對于常見的詐騙、賭博類網(wǎng)站無效。所以目前急需實用的違法網(wǎng)站自動識別技術(shù),能快速、高精度地從海量網(wǎng)站中識別出常見違法網(wǎng)站,從而達到打擊網(wǎng)絡(luò)違法犯罪的目的。針對上述現(xiàn)狀,本文提出并實現(xiàn)了基于模板檢測的違法網(wǎng)站自動識別方法和技術(shù)。該方法從檢測網(wǎng)站模板的角度出發(fā),結(jié)合HTTP POST特征提取、相似度模型、網(wǎng)站聚類、模板檢測等多種技術(shù),從海量網(wǎng)站中抽取違法網(wǎng)站模板,快速準確地識別違法網(wǎng)站,同時滿足性能要求。首先,本文分析了常見違法網(wǎng)站的特征,初步提出了三種識別方案。在綜合考慮研究目標和評價指標后,選用基于模板檢測來識別違法網(wǎng)站。接著重點研究該方案的4個關(guān)鍵技術(shù):1)模板檢測特征的確定。以網(wǎng)站POST行為作為模板識別的切入點,深入分析POST中所包含的信息,提出POST特征值計算公式。2)網(wǎng)站相似度模型。為了提取違法網(wǎng)站模板和識別違法網(wǎng)站,基于網(wǎng)站POST特征值提出網(wǎng)站相似度模型。該模型為每個網(wǎng)站構(gòu)造特征值集合,并采用Jaccard計算兩網(wǎng)站相似度。3)模板抽取。根據(jù)網(wǎng)站間的相似度對網(wǎng)站聚類,從中選出違法網(wǎng)站聚類,借鑒TF-IDF算法,提取違法聚類中的關(guān)鍵POST特征值作為違法網(wǎng)站模板。4)模板檢測。在相似度模型和違法網(wǎng)站模板的基礎(chǔ)上,判斷未知網(wǎng)站是否屬于違法網(wǎng)站。隨后,本文采用Hadoop、Map-Reduce、Hive和多線程等技術(shù)設(shè)計并實現(xiàn)了基于模板檢測的違法網(wǎng)站識別系統(tǒng)原型。為了驗證所提方案的有效性,以賭博違法網(wǎng)站為例,進行了三項實驗。實驗結(jié)果表明,本文方案能準確地識別出違法網(wǎng)站,通過不斷調(diào)整閾值,可讓精度達到100%;相比URL、HTML和語義特征,HTTP POST特征值能更準確地識別賭博網(wǎng)站;提出的技術(shù)框架滿足性能評價指標和伸縮性,但運行時間和召回率尚有優(yōu)化空間。最后,針對性能和召回率不高的問題,本文對網(wǎng)站聚類展開圖分析研究,抽取聚類圖特征,研究其中的分布模式與異常情況,并將所得發(fā)現(xiàn)用于優(yōu)化網(wǎng)站相似度模型。實驗結(jié)果表明,改進后的模型能較好地提高了違法網(wǎng)站模板抽取的效率與違法網(wǎng)站識別的召回率。
【關(guān)鍵詞】：違法網(wǎng)站識別 模板檢測 HTTP POST 圖分析
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.092
【目錄】：

• 摘要3-5
• ABSTRACT5-9
• 1 緒論9-17
• 1.1 研究背景9-10
• 1.2 國內(nèi)外研究現(xiàn)狀分析10-14
• 1.2.1 黑名單10-11
• 1.2.2 靜態(tài)檢測11-13
• 1.2.3 動態(tài)檢測13-14
• 1.2.4 研究現(xiàn)狀分析小結(jié)14
• 1.3 研究目標和內(nèi)容14-16
• 1.4 論文結(jié)構(gòu)16-17
• 2 總體方案和關(guān)鍵技術(shù)研究17-28
• 2.1 違法網(wǎng)站識別的總體方案17-20
• 2.1.1 違法網(wǎng)站的特征分析17
• 2.1.2 總體方案選擇17-18
• 2.1.3 評價指標18-19
• 2.1.4 關(guān)鍵技術(shù)19-20
• 2.2 模板檢測特征確定20-24
• 2.2.1 HTTP分析20-21
• 2.2.2 HTTP POST關(guān)鍵特征值提取21-24
• 2.3 網(wǎng)站相似度模型24-25
• 2.3.1 構(gòu)建網(wǎng)站特征集合24
• 2.3.2 計算網(wǎng)站間相似度24-25
• 2.4 模板抽取25-27
• 2.4.1 網(wǎng)站聚類25-26
• 2.4.2 模板抽取26-27
• 2.5 模板檢測27
• 2.6 本章小結(jié)27-28
• 3 原型實現(xiàn)和實驗28-46
• 3.1 技術(shù)框架28-29
• 3.2 數(shù)據(jù)預(yù)處理模塊的設(shè)計與實現(xiàn)29-31
• 3.3 基于Map-Reduce的網(wǎng)站相似度計算模塊的設(shè)計與實現(xiàn)31-35
• 3.3.1 Map-Reduce模型和Hadoop平臺31-32
• 3.3.2 技術(shù)實現(xiàn)32-35
• 3.4 違法網(wǎng)站模板抽取模塊的設(shè)計與實現(xiàn)35-36
• 3.5 違法網(wǎng)站識別模塊的設(shè)計與實現(xiàn)36-38
• 3.6 實驗38-44
• 3.6.1 實驗環(huán)境38-39
• 3.6.2 實驗數(shù)據(jù)39
• 3.6.3 實驗一39-41
• 3.6.4 實驗二41-43
• 3.6.5 實驗三43-44
• 3.7 本章小結(jié)44-46
• 4 基于聚類圖分析的網(wǎng)站相似度模型優(yōu)化46-58
• 4.1 圖分析的相關(guān)工作46-47
• 4.2 研究步驟47-48
• 4.3 提取圖特征48-49
• 4.4 模式與異常49-54
• 4.4.1 模式49-52
• 4.4.2 異常52-54
• 4.5 模型改進54-56
• 4.6 實驗四56
• 4.7 本章小結(jié)56-58
• 5 總結(jié)與展望58-60
• 5.1 本文工作小結(jié)58-59
• 5.2 展望59-60
• 參考文獻60-63
• 致謝63-64
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文64-66

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐海麗;王洋;楊文軍;吳道慶;;一種基于熵的距離像模板庫建立方法[J];現(xiàn)代雷達;2008年02期

2 陳希明,葛寶臻,張以謨;相關(guān)峰實時模板判別方法的研究[J];光電子·激光;1997年05期

3 蘇子偉;;如何理解C++模板[J];軟件工程師;2014年02期

4 蔡輝,孟飛;如何在程序開發(fā)中正確應(yīng)用C++模板庫[J];微型電腦應(yīng)用;2002年09期

5 劉曉平;毛崢強;;面向?qū)ο蟮膮f(xié)同模板分類模型研究[J];工程圖學(xué)學(xué)報;2007年01期

6 徐清華;魏小磊;李中良;;基于模板庫的自動圖像對象分割方法研究[J];艦船電子工程;2014年05期

7 胡睿;;基于模板的圖像內(nèi)容檢索新算法[J];電子技術(shù)與軟件工程;2014年13期

8 張興東,張鴻雁;C++中的標準模板庫[J];計算技術(shù)與自動化;2000年03期

9 胡琪波;何衛(wèi)平;董蓉;李亞杰;王偉;;可重用MES模板檢索技術(shù)研究[J];鍛壓裝備與制造技術(shù);2010年03期

10 林賢明,李堂秋,史曉東;基于模板的機器翻譯系統(tǒng)中模板庫的自動構(gòu)建技術(shù)[J];計算機應(yīng)用;2004年09期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 王建軍;李紅燕;唐綠岸;應(yīng)鶯;薛明;;基于模板的構(gòu)件重用和動態(tài)模式修改策略[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

2 楊二寶;呂學(xué)強;朱靖波;姚天順;;一種漢英翻譯模板提取方法[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2003年

3 劉鐵銳;游濤;李偉光;;模板、單構(gòu)件方式開發(fā)工程量統(tǒng)計軟件[A];第十四屆全國工程設(shè)計計算機應(yīng)用學(xué)術(shù)會議論文集[C];2008年

4 葉娜;吳雪軍;朱靖波;陳文亮;;基于相似計算的信息抽取模板自動獲取方法[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

5 毛崢強;路強;劉曉平;;基于協(xié)同模板的面向?qū)ο蠓诸惸Ｐ蚚A];計算機技術(shù)與應(yīng)用進展——全國第17屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2006年

6 盧偉;榮明;李小龍;王欽釗;;虛擬士兵外觀多樣化仿真研究[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2010年

7 張學(xué);黃德根;;EBMT中翻譯模板的抽取與匹配[A];全國第八屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議（JSCL-2005）論文集[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前3條

1 第七樂章;制作個性化的課件模板[N];中國電腦教育報;2004年

2 河南 EVAer;輕松打造精美LOGO[N];電腦報;2004年

3 仲勇;用金山文字制作請款單[N];中國電腦教育報;2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 張瀚瓏;基于模板檢測的違法網(wǎng)站識別[D];上海交通大學(xué);2015年

2 崔曉;可重構(gòu)運算系統(tǒng)的多媒體處理算法模板庫研究[D];上海交通大學(xué);2011年

3 郜嶸;多媒體同步編輯器中模板功能的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2010年

4 官曉沖;應(yīng)用于C++模板的重構(gòu)的研究與實現(xiàn)[D];西安電子科技大學(xué);2004年

5 吳小川;泛化的基于實例方法的漢語維吾爾語模板庫的構(gòu)建[D];新疆大學(xué);2012年

6 張學(xué);EBMT系統(tǒng)中翻譯模板的抽取與匹配[D];大連理工大學(xué);2006年

7 李濤;電子商務(wù)開發(fā)模板的應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2006年

8 趙健;基于模板定制的彈箭零件參數(shù)化工藝設(shè)計及系統(tǒng)研究[D];中北大學(xué);2013年

9 韓亞冬;協(xié)同環(huán)境下基于模板的機器翻譯技術(shù)的研究[D];沈陽航空航天大學(xué);2012年

，

本文編號：828941