【摘要】：數(shù)據(jù)挖掘技術(shù)與機(jī)器學(xué)習(xí)算法相結(jié)合能從海量的在線數(shù)據(jù)中挖掘出正常和異常的行為模式,這不僅大大減少了人工分析的工作量,而且可以有效地解決規(guī)則匹配對研究人員安全背景的高要求。但是近年來,動(dòng)態(tài)HTTP請求的爆炸式增長對傳統(tǒng)針對于Web應(yīng)用的檢測系統(tǒng)提出了極大的挑戰(zhàn),異常檢測算法中存在的一些諸如假正率偏高、適應(yīng)性差、容易過擬合、時(shí)間復(fù)雜度高等問題逐漸被暴露出來。同時(shí),隨著計(jì)算機(jī)系統(tǒng)和網(wǎng)絡(luò)環(huán)境之間的差異性不斷增大,網(wǎng)絡(luò)攻擊切入點(diǎn)和行為模式也在不斷地更替和演變,傳統(tǒng)的異常檢測系統(tǒng)將很難繼續(xù)滿足企業(yè)級的檢測需求。針對上述問題,本文提供了一種高性能、多維度、自適應(yīng)的異常檢測系統(tǒng)。本文主要的研究工作包括:(1)構(gòu)建統(tǒng)計(jì)模型:提取每個(gè)特定域名下的網(wǎng)絡(luò)訪問數(shù)據(jù),計(jì)算特定域名下指定檢測特征的統(tǒng)計(jì)特性參數(shù),構(gòu)建相應(yīng)的統(tǒng)計(jì)模型;(2)構(gòu)建多維子系統(tǒng):依據(jù)計(jì)算得到的統(tǒng)計(jì)特征參數(shù),從不同維度檢測網(wǎng)絡(luò)訪問數(shù)據(jù)集中各條記錄的行為特性,生成對應(yīng)的多維特征向量;(3)構(gòu)建分類模型:基于統(tǒng)計(jì)模型生成的多維特征向量和記錄的實(shí)際類標(biāo),采用機(jī)器學(xué)習(xí)中的分類算法,對訪問記錄中的異常數(shù)據(jù)進(jìn)行檢測;(4)模型融合:除了挑選一個(gè)性能最優(yōu)的單模型外,為了提升系統(tǒng)的檢測性能,需要對不同的分類器進(jìn)行進(jìn)一步的模型融合,使融合后的模型相比于之前任何一個(gè)單模型來說都具有更優(yōu)秀的性能指標(biāo);(5)結(jié)果反饋:需要根據(jù)檢測結(jié)果的統(tǒng)計(jì)特性,判斷當(dāng)前的統(tǒng)計(jì)模型和分類器是否失效。如果證明統(tǒng)計(jì)或檢測模型失效,系統(tǒng)需要重新構(gòu)建統(tǒng)計(jì)模型,進(jìn)行重新學(xué)習(xí)。本文基于奇虎360公司提供的海量網(wǎng)絡(luò)訪問日志,對所設(shè)計(jì)系統(tǒng)中涉及到的7種單分類器和融合模型的檢測性能分別進(jìn)行了詳細(xì)的分析和評估。實(shí)驗(yàn)結(jié)果證實(shí),基于足夠多“好而不同”的單分類器,通過Stacked generalization網(wǎng)絡(luò)融合后的模型的檢測性能與之前任何一個(gè)最優(yōu)單模型相比都具有一定程度的提高。同時(shí),在與6種主流檢測模型的性能比較中,本文提出的檢測系統(tǒng)在各種檢測維度下都具有最優(yōu)的檢測能力。
[Abstract]:The combination of data mining technology and machine learning algorithm can extract normal and abnormal behavior patterns from massive online data, which not only greatly reduces the workload of manual analysis. Moreover, it can effectively solve the high requirement of rule matching to the safety background of researchers. However, in recent years, the explosive growth of dynamic HTTP requests has posed a great challenge to the traditional detection system for Web applications. Some anomaly detection algorithms such as high false positive rate, poor adaptability, easy to over-fit, Problems such as high time complexity are gradually exposed. At the same time, with the increasing differences between computer systems and network environment, network attack entry points and behavior patterns are constantly changing and evolving, the traditional anomaly detection system will be difficult to continue to meet the needs of enterprise-level detection. To solve the above problems, this paper provides a high performance, multi-dimensional, adaptive anomaly detection system. The main research work of this paper is as follows: (1) build the statistical model: extract the network access data under each specific domain name, calculate the statistical characteristic parameters of the specified detection feature under the specific domain name, and construct the corresponding statistical model; (2) constructing multidimensional subsystem: according to the calculated statistical characteristic parameters, the behavior characteristics of each record in the network access data set are detected from different dimensions, and the corresponding multidimensional feature vectors are generated; (3) constructing the classification model: based on the multidimensional feature vector generated by the statistical model and the actual class mark of the record, using the classification algorithm in machine learning to detect the abnormal data in the access record; (4) Model fusion: in addition to selecting a single model with the best performance, in order to improve the detection performance of the system, further model fusion is needed for different classifiers. Compared with any previous single model, the fused model has better performance index. (5) result feedback: it is necessary to judge whether the current statistical model and classifier are invalid according to the statistical characteristics of the detection results. If the statistical or detection model is proved to be ineffective, the system needs to rebuild the statistical model and re-learn. Based on the massive network access log provided by Qihoo 360, this paper analyzes and evaluates in detail the detection performance of seven kinds of single classifiers and fusion models involved in the designed system. The experimental results show that, based on enough "good and different" single classifiers, the detection performance of the model fused by Stacked generalization network is improved to a certain extent compared with any previous optimal single model. At the same time, compared with the six main detection models, the detection system proposed in this paper has the best detection ability under various detection dimensions.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 邵凱;新的家禽屠宰檢測系統(tǒng)問世[J];畜牧與飼料科學(xué);2004年01期

2 王旭東;;基于Lab Windows/CVI7.1綜合檢測系統(tǒng)[J];今日電子;2007年08期

3 本刊編輯部;;科技期刊不端文獻(xiàn)檢測系統(tǒng)使用情況通報(bào)[J];電訊技術(shù);2009年10期

4 張立平;;空調(diào)生產(chǎn)線檢測系統(tǒng)的設(shè)計(jì)和應(yīng)用[J];自動(dòng)化與信息工程;2010年02期

5 劉成軍;;淺談云計(jì)算的木馬檢測系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年24期

6 鄭春瑞;檢測系統(tǒng)今后的課題——面向未來探索基本要點(diǎn)[J];組合機(jī)床與自動(dòng)化加工技術(shù);1985年12期

7 徐大慶;多媒體檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的一種方法[J];計(jì)算機(jī)應(yīng)用;1997年03期

8 程仁洪;一種實(shí)用的傾斜角檢測系統(tǒng)[J];基礎(chǔ)自動(dòng)化;1997年05期

9 蔣曉松;張?jiān)诘?楊志平;許世宏;張慶海;;無線電綜合檢測系統(tǒng)[J];電子測量技術(shù);2002年05期

10 劉琪,馬殙;天津輕軌列車出入庫檢測系統(tǒng)[J];移動(dòng)通信;2003年11期

相關(guān)會(huì)議論文 前10條

1 馬豐嶺;黃波;;智能型閘盤偏擺檢測系統(tǒng)的設(shè)計(jì)研究[A];第24屆全國煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第6屆中國煤礦信息化與自動(dòng)化高層論壇論文集[C];2014年

2 唐宇;王洪;唐孟培;;新型激光誘導(dǎo)熒光光纖檢測系統(tǒng)的研制[A];第一屆中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2007年

3 陳牡丹;周光明;;超聲C掃描檢測系統(tǒng)性能校核研究[A];中國力學(xué)大會(huì)——2013論文摘要集[C];2013年

4 王振華;呂華;陸祖宏;;單分子熒光漲落檢測系統(tǒng)的研制[A];中國生物醫(yī)學(xué)工程學(xué)會(huì)醫(yī)學(xué)物理分會(huì)第十次學(xué)術(shù)年會(huì)、中華醫(yī)學(xué)會(huì)醫(yī)學(xué)工程學(xué)分會(huì)第一次醫(yī)療設(shè)備科學(xué)管理研討會(huì)論文集[C];1998年

5 陳志強(qiáng);高文煥;康克軍;張麗;;大型集裝箱檢測系統(tǒng)的新型客戶／服務(wù)器網(wǎng)絡(luò)模型[A];第9屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會(huì)論文集[C];1998年

6 韓疆;劉曉星;潘接林;張建平;顏永紅;張鵬遠(yuǎn);呂萍;劉建;;一種網(wǎng)絡(luò)信息安全中的語音關(guān)鍵詞檢測系統(tǒng)[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

7 鄧延;;SDI-5420 Delta X大型超聲C-掃描檢測系統(tǒng)[A];陜西省第九屆無損檢測年會(huì)陜西省機(jī)械工程學(xué)會(huì)無損檢測分會(huì)論文集[C];2004年

8 陳宋宋;郭延凱;鐘鳴;;移動(dòng)式電力能效檢測系統(tǒng)及方法[A];2013年中國電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2013年

9 向新程;周立業(yè);張顏民;灻毅斌;王立強(qiáng);李富榮;高寶增;張玉愛;苗積臣;劉錫明;;組合移動(dòng)式鈷-60集裝箱檢測系統(tǒng)的研制[A];第十屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會(huì)論文集[C];2000年

10 鐘文勇;唐勝江;楊新文;;電子學(xué)系統(tǒng)涂層檢測系統(tǒng)開發(fā)[A];第二屆全國信息與電子工程學(xué)術(shù)交流會(huì)暨第十三屆四川省電子學(xué)會(huì)曙光分會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 齊澤萍;治超不停車檢測系統(tǒng)在我省啟用[N];山西經(jīng)濟(jì)日報(bào);2008年

2 蔣夢恬 記者 王春;手機(jī)安全檢測系統(tǒng)令“流氓”軟件無處遁形[N];科技日報(bào);2013年

3 郭曉;鄭州建設(shè)簡易工況檢測系統(tǒng)[N];中國環(huán)境報(bào);2006年

4 馬曉艷;全省高速公路57個(gè)治超點(diǎn)啟用不停車檢測系統(tǒng)[N];山西經(jīng)濟(jì)日報(bào);2008年

5 孫宏;先進(jìn)光學(xué)3D板坯表面 質(zhì)量檢測系統(tǒng)[N];世界金屬導(dǎo)報(bào);2012年

6 謝昌民;運(yùn)城高速全部實(shí)現(xiàn)不停車超限超載檢測[N];山西日報(bào);2008年

7 本報(bào)記者 張海瑞;創(chuàng)新科技治超 步入長效軌道[N];太原日報(bào);2011年

8 方通;網(wǎng)絡(luò)入侵檢測系統(tǒng)——構(gòu)筑全方位保障[N];中國水利報(bào);2003年

9 劉永春;陽高縣科技治超效果好[N];大同日報(bào);2011年

10 可可;特諾恩轉(zhuǎn)爐噴濺檢測系統(tǒng)技術(shù)獲獎(jiǎng)[N];中國冶金報(bào);2011年

相關(guān)博士學(xué)位論文 前10條

1 郭曉玲;含羧基類有機(jī)物修飾碳基電極的構(gòu)建及細(xì)胞毒性檢測研究[D];哈爾濱工業(yè)大學(xué);2015年

2 漆海霞;畜禽舍關(guān)鍵環(huán)境因子檢測系統(tǒng)的研究[D];華南農(nóng)業(yè)大學(xué);2016年

3 萬志遠(yuǎn);Web應(yīng)用程序漏洞檢測關(guān)鍵技術(shù)研究[D];浙江大學(xué);2014年

4 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學(xué);2015年

5 張璞;Web評論文本情感分類方法研究[D];重慶大學(xué);2015年

6 劉維東;Web短文本知識(shí)關(guān)聯(lián)模型及其語義連貫計(jì)算方法[D];上海大學(xué);2016年

7 孫慧峰;基于協(xié)同過濾的個(gè)性化Web推薦[D];北京郵電大學(xué);2012年

8 馬宗偉;基于衛(wèi)星遙感的我國PM_(2.5)時(shí)空分布研究[D];南京大學(xué);2015年

9 李賢;基于統(tǒng)計(jì)模型的漢語歌聲合成研究[D];中國科學(xué)技術(shù)大學(xué);2015年

10 陳志凱;GaN HEMT微波器件大信號(hào)統(tǒng)計(jì)模型研究[D];電子科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 李嘉偉;多維自適應(yīng)Web異常檢測系統(tǒng)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2017年

2 韓浩;基于WSN農(nóng)作物生理參數(shù)檢測系統(tǒng)的設(shè)計(jì)與研究[D];寧夏大學(xué);2015年

3 王磊;基于DM642的人臉檢測系統(tǒng)[D];蘇州大學(xué);2015年

4 倪生冬;維語版《士兵職業(yè)基本適應(yīng)性檢測系統(tǒng)》的編制與信效度檢驗(yàn)[D];第四軍醫(yī)大學(xué);2015年

5 錢云鵬;基于CCD的血漿乳糜度檢測系統(tǒng)設(shè)計(jì)[D];大連理工大學(xué);2015年

6 張鶴;高速、低噪聲太赫茲檢測系統(tǒng)[D];南京大學(xué);2014年

7 宋智明;模塊化實(shí)時(shí)人臉檢測系統(tǒng)的設(shè)計(jì)[D];大連理工大學(xué);2015年

8 葛楠;寧波移動(dòng)公司基站維護(hù)檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

9 王剛;基于多傳感器的可穿戴跌倒檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2015年

10 張巖;圓網(wǎng)壁紙印刷機(jī)套印檢測系統(tǒng)的研究[D];西安工程大學(xué);2015年

，

本文編號(hào)：2333029