【摘要】：在網(wǎng)絡技術不斷進步地推動下,互聯(lián)網(wǎng)不斷地擴大其作為通訊和商業(yè)媒介的影響力,更在互聯(lián)網(wǎng)企業(yè)創(chuàng)造新興商業(yè)渠道中扮演極為重要的角色�；ヂ�(lián)網(wǎng)業(yè)務需求的迅速增加激勵著企業(yè)和各國政府發(fā)展國際化的復雜信息網(wǎng)絡,網(wǎng)絡技術與WEB服務呈現(xiàn)多樣化。然而,黑客技術不斷進化以及系統(tǒng)安全防護功能不足導致了近兩年網(wǎng)絡安全事件頻發(fā),網(wǎng)絡攻擊數(shù)量不斷上升,網(wǎng)絡攻擊檢測已成為一個備受關注的研究課題,檢測和阻止網(wǎng)絡攻擊的技術研究工作需要更加深入地展開。今天的商用入侵檢測系統(tǒng)主要是基于簽名的,用于檢測已被識別的攻擊行為,這樣的系統(tǒng)需要頻繁地更新規(guī)則庫和簽名庫,耗時長且不能夠檢測未知攻擊。服務器內(nèi)部署的大部分檢測系統(tǒng)之間缺乏聯(lián)動機制,并且缺少對大規(guī)模數(shù)據(jù)有效分析的能力,使得數(shù)據(jù)分析難度和耗費時間不斷增加。因此面向應用層的異常檢測技術被廣泛研究,通過分析正常行為的特征模式,構建正向安全模型,可以有效識別惡意攻擊行為,由于該類技術不是基于已有專家知識構建的,因此對于挖掘未知的網(wǎng)絡攻擊手段、跟蹤新型的木馬行為以及挖掘新型的網(wǎng)絡漏洞都有著重要的意義。本文的工作以自主研究課題“基于海量日志的WEB行為安全模型研究”中提出的“WEB日志安全智能分析系統(tǒng)”為基礎,該系統(tǒng)主要通過建立多層次的WEB訪問模型對異常行為進行分析研究,挖掘海量訪問日志數(shù)據(jù)之間潛在的關系。本文主要介紹并研究了多種類型的檢測方式,探討了各種方法和系統(tǒng)的優(yōu)勢及不足,然后利用數(shù)據(jù)挖掘的思想挖掘用戶行為模式。實現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng)中的IP/UA (User Agent)特征分析和攻擊頻繁模式挖掘兩個模塊的功能,最終通過特征檢測達到識別用戶的異常行為,并對異常進行了類別的劃分。為了滿足功能測試和項目自身的需求,項目組搭建了以Hadoop加ELK為基礎的大數(shù)據(jù)分析平臺。收集了某大型網(wǎng)站群的歷史WEB訪問日志,使用較流行的ElasticSearch平臺達到日志數(shù)據(jù)存儲、管理以及查詢的目的,利用分布式編程模型對大規(guī)模訪問日志進行分布式處理和計算,以求達到支撐歷史數(shù)據(jù)批量分析和實時流量數(shù)據(jù)分析的需求。本文的工作是批量分析歷史數(shù)據(jù),測試集選取了2013年8月份全部日志數(shù)據(jù),測試模塊為IP/UA特征分析模塊和攻擊頻繁模式挖掘模塊。測試結果表明：Hadoop分布式系統(tǒng)能夠有效地完成日志數(shù)據(jù)處理并顯著縮短處理時間;IP/UA特征分析能夠識別假冒知名爬蟲的、使用可疑UA的或UA含有異常字符的用戶：攻擊頻繁模式挖掘的結果總結后形成了四類異常模式,可以用于判別新用戶實例是否存在異常和異常類型。
【學位授予單位】：中國海洋大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.08

【相似文獻】

相關期刊論文 前10條

1 閻巧,謝維信;異常檢測技術的研究與發(fā)展[J];西安電子科技大學學報;2002年01期

2 田琳;黃文海;;無線局域網(wǎng)基于靜態(tài)馬爾可夫鏈的異常檢測技術研究[J];科技信息(學術研究);2008年24期

3 苗強;周興社;倪紅波;張桂英;周珊丹;;基于行為規(guī)律的異常檢測技術研究[J];計算機工程與應用;2010年15期

4 崔錫鑫;蘇偉;劉穎;;基于熵的流量分析和異常檢測技術研究與實現(xiàn)[J];計算機技術與發(fā)展;2013年05期

5 金文進;楊武;;異常檢測技術研究綜述[J];軟件導刊;2008年01期

6 安景琦,劉貴全,錢權;一種基于隱Markov模型的異常檢測技術[J];計算機應用;2005年08期

7 胡亮;金剛;于漫;任斐;任維武;;基于異常檢測的入侵檢測技術[J];吉林大學學報(理學版);2009年06期

8 高旭麟;;視頻監(jiān)控圖像異常檢測技術在安防行業(yè)中的應用[J];中國公共安全;2013年12期

9 周彬彬;崔寶江;楊義先;;基于系統(tǒng)行為分析的異常檢測技術研究[J];電信科學;2009年02期

10 張劍,龔儉;一種基于模糊綜合評判的入侵異常檢測方法[J];計算機研究與發(fā)展;2003年06期

相關會議論文 前1條

1 李涵;;一種改進的聚類方法在異常檢測中的應用[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

相關重要報紙文章 前2條

1 那罡;檢測異常網(wǎng)絡 阻擋DoS攻擊[N];中國計算機報;2008年

2 ;千兆網(wǎng)絡的安全防護神[N];中國計算機報;2003年

相關博士學位論文 前3條

1 林果園;基于主機行為的異常檢測技術研究[D];南京大學;2011年

2 吳志忠;移動設備及網(wǎng)絡的異常檢測方法研究[D];中國科學技術大學;2013年

3 夏正敏;基于分形的網(wǎng)絡流量分析及異常檢測技術研究[D];上海交通大學;2012年

相關碩士學位論文 前10條

1 鐘圣唯;面向異常檢測的多源遙感影像融合技術研究[D];哈爾濱工業(yè)大學;2015年

2 林旭;基于WEB訪問日志的異常檢測技術研究[D];中國海洋大學;2015年

3 楊斌;基于聚類的異常檢測技術的研究[D];中南大學;2008年

4 朱義鑫;基于網(wǎng)絡的隱馬爾可夫異常檢測技術研究[D];新疆大學;2005年

5 李斌;基于正常簡檔聚類的自適應異常檢測技術研究[D];中南大學;2009年

6 楊宇舟;基于特征提取的聚類異常檢測技術的研究與實現(xiàn)[D];電子科技大學;2012年

7 王冬陽;面向云計算的異常檢測技術的研究與實現(xiàn)[D];上海交通大學;2013年

8 宋歌;基于程序行為的異常檢測技術研究[D];西安電子科技大學;2002年

9 乜聚虎;智能手機異常檢測技術研究與實現(xiàn)[D];中國科學技術大學;2011年

10 呂云潔;基于數(shù)據(jù)流的異常檢測技術及應用的研究[D];華北電力大學（河北）;2008年

本文編號：2802467