【摘要】：近年來,隨著互聯(lián)網(wǎng)的迅速發(fā)展以及網(wǎng)絡業(yè)務的不斷擴大,互聯(lián)網(wǎng)的網(wǎng)頁規(guī)模呈現(xiàn)“基數(shù)大、增長快、更新頻繁”的發(fā)展趨勢。以中國為例,如《中國互聯(lián)網(wǎng)站發(fā)展狀況及其安全報告(2015)》指出,截至2014年12月底,中國網(wǎng)站總量達到364.7萬余個,同比年度增長約14.1萬個,為中國網(wǎng)站提供互聯(lián)網(wǎng)接入服務的接入服務商1,068家,同比年度凈增長86家。隨著網(wǎng)站數(shù)量及網(wǎng)頁規(guī)模不斷擴大,互聯(lián)網(wǎng)服務逐步滲透到人們?nèi)粘Ｉ畹姆椒矫婷�。豐富的互聯(lián)網(wǎng)服務一方面極大改善了人們的日常生活；另一方面,也給一些網(wǎng)絡攻擊行為(包括釣魚網(wǎng)頁、網(wǎng)頁木馬等)提供了廣闊的發(fā)展空間。這些網(wǎng)絡攻擊行為常常圍繞網(wǎng)頁展開,或者設計陷阱或者挖掘漏洞,利用各種攻擊技術對人們的網(wǎng)絡安全構成嚴重威脅。以URL為例,卡巴斯基的統(tǒng)計數(shù)據(jù)顯示,僅2012年,惡意URL共出現(xiàn)1.39億次,并在當年87.39%的網(wǎng)絡攻擊中扮演重要角色。當前,隨著互聯(lián)網(wǎng)的蓬勃發(fā)展,網(wǎng)絡攻擊不斷增多,惡意URL規(guī)模持續(xù)擴大,網(wǎng)絡安全形勢日益嚴峻。作為抵御網(wǎng)絡攻擊的核心安全技術之一,URL實時分類技術可以幫助人們避免惡意網(wǎng)頁引起的安全威脅,有效保障個人隱私安全及網(wǎng)絡交易安全,進而提升網(wǎng)絡安全。為此,研究人員已經(jīng)提出了很多方法和技術。但在URL規(guī)模持續(xù)擴大的今天,抵御網(wǎng)絡攻擊依舊面臨著許多新的挑戰(zhàn)：如URL資源眾多、URL數(shù)據(jù)集不均勻、惡意URL逃逸技術升級等。在這些挑戰(zhàn)面前,傳統(tǒng)方法暴露出如準確率不高、內(nèi)存占用過高等缺陷。為了避免這些缺陷,應該對新的URL實時分類技術開展研究,通過實現(xiàn)高效、可靠、準確的防御模式,從根本上防止惡意URL所帶來的安全威脅。本文以URL實時分類為貫穿主線,從不同維度出發(fā)考察了URL實時分類技術的最新研究成果,并在此基礎上根據(jù)實際需要進行進一步的拓展,提出了非人為訪問過濾技術、惡意URL識別技術、潛在惡意URL發(fā)現(xiàn)技術等。依據(jù)這些技術理論,本文構建了面向大規(guī)模流量的URL實時分類框架。通過詳細、具體的實驗以及豐富的開源數(shù)據(jù)分析,本文對所提出的研究成果及相應的技術方案進行實驗驗證,并取得了較好的實際效果。本文的主要貢獻與創(chuàng)新點總結如下：1)提出了大規(guī)模的URL實時分類框架。針對當前實時分類框架中可能存在的潛在問題,結合網(wǎng)關流量的特點,綜合使用多種技術對網(wǎng)關位置的流量進行細致的分析和分類,并在此基礎上提出了離線分析和在線分類相結合的異步協(xié)同架構。該分類框架能夠有效地提升網(wǎng)頁流量的分類效率,并支持多級分類和精細化分類等業(yè)務需求。通過長時間的網(wǎng)絡運行測試,驗證了該分類框架在實際應用場景中具有較高的運行效率及較穩(wěn)定的分類性能,同時表明該分類框架不僅在理論上有所貢獻,而且體現(xiàn)出一定程度的實用價值。2)研究了高頻非人為點擊的識別與過濾技術。提出了基于啟發(fā)式規(guī)則的過濾方法EPLogCleaner。EPLogCleaner針對的是網(wǎng)關流量中高頻非人為點擊的過濾問題,利用網(wǎng)關流量中高頻非人為點擊在時間上呈現(xiàn)出的周期性,結合傳統(tǒng)相似性度量方法進行分析,從而總結過濾規(guī)則,用于高頻非人為點擊的過濾。實驗結果表明,相比于傳統(tǒng)的數(shù)據(jù)清洗方法,EPLogCleaner可以多過濾30%的URL,并保證過濾準確率不低于90%。3)研究了輕量級的可疑URL識別技術。提出一種簡單高效的有限特征集構造方法LDB(Limited Dictionary Builder)對特征進行篩選,從而限制特征集規(guī)模。該方法首先對每個詞特征給出一個時間復雜度為O(1)的評價方法計算其預測能力,然后在線性時間內(nèi)對特征進行篩選。實驗結果顯示,相比于傳統(tǒng)的惡意URL檢測方法BeyondBlacklist和BigData2013,在準確率基本保持不變的情況下,LDB方法能夠?qū)⑻卣骷?guī)�？s減為傳統(tǒng)方法的8.3%。在實驗環(huán)境中,該方法能夠達到每秒20,000個URL的處理速率。4)研究了隱身釣魚URL的識別技術。提出了一種輕量級的隱身釣魚URL識別方法CPRM (Cloaked Phishing Recognition Model)。通過觀察和分析部分隱身釣魚URL的算法生成過程,進而引入新的輕量級特征,并把它們用在釣魚URL的識別檢測中。實驗結果顯示,CPRM方法能夠有效提升釣魚URL識別的準確率(提高了2.74%)和召回率(提高了1.25%)。此外,CPRM方法只依賴于輕量級特征,能夠保證URL的處理速率基本不變,適用于大規(guī)模網(wǎng)頁環(huán)境。5)研究了惡意URL推斷技術。首次將訪問關系引入惡意URL識別問題,提出了惡意URL推斷方法GuidedTracker,解決了惡意URL濃度低的問題。實驗結果表明：相比于傳統(tǒng)檢測方法,GuidedTracker可以有效提升惡意URL濃度(從1.06%提升至1.94%),并縮短33.89%的檢測運行時間。
【學位授予單位】：北京郵電大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP393.06

【相似文獻】

相關期刊論文 前10條

1 ycx;對付惡意網(wǎng)頁三法[J];中國電子與網(wǎng)絡出版;2003年11期

2 張福增,趙永升,孔繁蕓,宋麗華;惡意網(wǎng)頁的剖析與對策[J];福建電腦;2004年07期

3 ;追擊連環(huán)惡意網(wǎng)頁病毒[J];計算機與網(wǎng)絡;2004年09期

4 李強 ,昊蟲蟲;清除惡意網(wǎng)頁病毒又兩招[J];電腦愛好者;2004年20期

5 韓豐海;查看惡意網(wǎng)頁有妙招[J];電腦應用文萃;2005年09期

6 楊光;;刪除惡意網(wǎng)頁對系統(tǒng)修改的幾個方法[J];計算機與網(wǎng)絡;2014年08期

7 徐海斌;;走出惡意網(wǎng)頁的陷阱[J];電腦應用文萃;2001年12期

8 風日;;惡意網(wǎng)頁七宗罪[J];電腦采購周刊;2002年27期

9 網(wǎng)鳥;惡意網(wǎng)頁我不怕[J];電腦知識與技術;2003年30期

10 吳剛;瀏覽器被惡意網(wǎng)頁修改的解決辦法[J];陜西氣象;2003年04期

相關會議論文 前2條

1 杜振華;張健;馬勇;張鑫;蘇圣魁;;一種惡意網(wǎng)頁檢測系統(tǒng)的研究與設計[A];全國計算機安全學術交流會論文集（第二十三卷）[C];2008年

2 唐雅茜;朱海波;黎玲;;破解惡意網(wǎng)頁十大招[A];2008年廣西氣象學會學術年會論文集[C];2008年

相關重要報紙文章 前10條

1 cdrom;惡意網(wǎng)頁幾時休[N];中國電腦教育報;2002年

2 徐海斌;惡意網(wǎng)頁我們這樣對付它[N];中國電腦教育報;2002年

3 ;“極限女孩”惡意網(wǎng)頁病毒[N];中國財經(jīng)報;2002年

4 ;對付惡意網(wǎng)頁[N];中國電腦教育報;2003年

5 王書杰;追擊連環(huán)惡意網(wǎng)頁病毒[N];中國電腦教育報;2004年

6 徐海斌;以牙還牙 巧治惡意網(wǎng)頁病毒[N];中國電腦教育報;2002年

7 邊歆;惡意網(wǎng)頁每天增加5000個[N];網(wǎng)絡世界;2008年

8 ;全球黑客每周創(chuàng)建5.7萬個惡意網(wǎng)頁[N];網(wǎng)絡世界;2010年

9 謝曉丹;惡意網(wǎng)頁竟藏104個木馬程序[N];中國計算機報;2007年

10 王紹清;和惡意網(wǎng)頁代碼拜拜[N];中國電腦教育報;2002年

相關博士學位論文 前1條

1 沙泓州;面向大規(guī)模網(wǎng)絡流量的URL實時分類關鍵技術研究[D];北京郵電大學;2015年

相關碩士學位論文 前10條

1 王維光;基于分類算法的惡意網(wǎng)頁檢測技術研究[D];北京郵電大學;2015年

2 文凱;惡意網(wǎng)頁檢測系統(tǒng)設計及在云架構中的應用[D];中南林業(yè)科技大學;2013年

3 戴仲政;基于腳本引擎的惡意網(wǎng)頁檢測系統(tǒng)[D];華南理工大學;2014年

4 王慶;基于在線學習算法的惡意網(wǎng)頁檢測系統(tǒng)[D];哈爾濱工業(yè)大學;2010年

5 岳濤;基于多特征的惡意網(wǎng)頁檢測研究[D];湖南大學;2013年

6 羅劍;數(shù)據(jù)挖掘在惡意網(wǎng)頁動態(tài)檢測中的應用研究[D];上海交通大學;2012年

7 姚楠;基于客戶端惡意網(wǎng)頁收集與分析系統(tǒng)的安全技術研究[D];武漢理工大學;2014年

8 羅江鋒;一種抑制惡意網(wǎng)頁的web權威結點挖掘算法研究[D];國防科學技術大學;2008年

9 王穎杰;基于惡意網(wǎng)頁檢測的蜜罐系統(tǒng)研究[D];南京師范大學;2008年

10 王松;基于學習的惡意網(wǎng)頁智能檢測系統(tǒng)[D];南京理工大學;2011年

本文編號：2758171