【摘要】：數(shù)據(jù)挖掘技術(shù)與機(jī)器學(xué)習(xí)算法相結(jié)合能從海量的在線數(shù)據(jù)中挖掘出正常和異常的行為模式,這不僅大大減少了人工分析的工作量,而且可以有效地解決規(guī)則匹配對(duì)研究人員安全背景的高要求。但是近年來(lái),動(dòng)態(tài)HTTP請(qǐng)求的爆炸式增長(zhǎng)對(duì)傳統(tǒng)針對(duì)于Web應(yīng)用的檢測(cè)系統(tǒng)提出了極大的挑戰(zhàn),異常檢測(cè)算法中存在的一些諸如假正率偏高、適應(yīng)性差、容易過(guò)擬合、時(shí)間復(fù)雜度高等問(wèn)題逐漸被暴露出來(lái)。同時(shí),隨著計(jì)算機(jī)系統(tǒng)和網(wǎng)絡(luò)環(huán)境之間的差異性不斷增大,網(wǎng)絡(luò)攻擊切入點(diǎn)和行為模式也在不斷地更替和演變,傳統(tǒng)的異常檢測(cè)系統(tǒng)將很難繼續(xù)滿足企業(yè)級(jí)的檢測(cè)需求。針對(duì)上述問(wèn)題,本文提供了一種高性能、多維度、自適應(yīng)的異常檢測(cè)系統(tǒng)。本文主要的研究工作包括:(1)構(gòu)建統(tǒng)計(jì)模型:提取每個(gè)特定域名下的網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù),計(jì)算特定域名下指定檢測(cè)特征的統(tǒng)計(jì)特性參數(shù),構(gòu)建相應(yīng)的統(tǒng)計(jì)模型;(2)構(gòu)建多維子系統(tǒng):依據(jù)計(jì)算得到的統(tǒng)計(jì)特征參數(shù),從不同維度檢測(cè)網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)集中各條記錄的行為特性,生成對(duì)應(yīng)的多維特征向量;(3)構(gòu)建分類模型:基于統(tǒng)計(jì)模型生成的多維特征向量和記錄的實(shí)際類標(biāo),采用機(jī)器學(xué)習(xí)中的分類算法,對(duì)訪問(wèn)記錄中的異常數(shù)據(jù)進(jìn)行檢測(cè);(4)模型融合:除了挑選一個(gè)性能最優(yōu)的單模型外,為了提升系統(tǒng)的檢測(cè)性能,需要對(duì)不同的分類器進(jìn)行進(jìn)一步的模型融合,使融合后的模型相比于之前任何一個(gè)單模型來(lái)說(shuō)都具有更優(yōu)秀的性能指標(biāo);(5)結(jié)果反饋:需要根據(jù)檢測(cè)結(jié)果的統(tǒng)計(jì)特性,判斷當(dāng)前的統(tǒng)計(jì)模型和分類器是否失效。如果證明統(tǒng)計(jì)或檢測(cè)模型失效,系統(tǒng)需要重新構(gòu)建統(tǒng)計(jì)模型,進(jìn)行重新學(xué)習(xí)。本文基于奇虎360公司提供的海量網(wǎng)絡(luò)訪問(wèn)日志,對(duì)所設(shè)計(jì)系統(tǒng)中涉及到的7種單分類器和融合模型的檢測(cè)性能分別進(jìn)行了詳細(xì)的分析和評(píng)估。實(shí)驗(yàn)結(jié)果證實(shí),基于足夠多“好而不同”的單分類器,通過(guò)Stacked generalization網(wǎng)絡(luò)融合后的模型的檢測(cè)性能與之前任何一個(gè)最優(yōu)單模型相比都具有一定程度的提高。同時(shí),在與6種主流檢測(cè)模型的性能比較中,本文提出的檢測(cè)系統(tǒng)在各種檢測(cè)維度下都具有最優(yōu)的檢測(cè)能力。
[Abstract]:The combination of data mining technology and machine learning algorithm can extract normal and abnormal behavior patterns from massive online data, which not only greatly reduces the workload of manual analysis. Moreover, it can effectively solve the high requirement of rule matching to the safety background of researchers. However, in recent years, the explosive growth of dynamic HTTP requests has posed a great challenge to the traditional detection system for Web applications. Some anomaly detection algorithms such as high false positive rate, poor adaptability, easy to over-fit, Problems such as high time complexity are gradually exposed. At the same time, with the increasing differences between computer systems and network environment, network attack entry points and behavior patterns are constantly changing and evolving, the traditional anomaly detection system will be difficult to continue to meet the needs of enterprise-level detection. To solve the above problems, this paper provides a high performance, multi-dimensional, adaptive anomaly detection system. The main research work of this paper is as follows: (1) build the statistical model: extract the network access data under each specific domain name, calculate the statistical characteristic parameters of the specified detection feature under the specific domain name, and construct the corresponding statistical model; (2) constructing multidimensional subsystem: according to the calculated statistical characteristic parameters, the behavior characteristics of each record in the network access data set are detected from different dimensions, and the corresponding multidimensional feature vectors are generated; (3) constructing the classification model: based on the multidimensional feature vector generated by the statistical model and the actual class mark of the record, using the classification algorithm in machine learning to detect the abnormal data in the access record; (4) Model fusion: in addition to selecting a single model with the best performance, in order to improve the detection performance of the system, further model fusion is needed for different classifiers. Compared with any previous single model, the fused model has better performance index. (5) result feedback: it is necessary to judge whether the current statistical model and classifier are invalid according to the statistical characteristics of the detection results. If the statistical or detection model is proved to be ineffective, the system needs to rebuild the statistical model and re-learn. Based on the massive network access log provided by Qihoo 360, this paper analyzes and evaluates in detail the detection performance of seven kinds of single classifiers and fusion models involved in the designed system. The experimental results show that, based on enough "good and different" single classifiers, the detection performance of the model fused by Stacked generalization network is improved to a certain extent compared with any previous optimal single model. At the same time, compared with the six main detection models, the detection system proposed in this paper has the best detection ability under various detection dimensions.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 邵凱;新的家禽屠宰檢測(cè)系統(tǒng)問(wèn)世[J];畜牧與飼料科學(xué);2004年01期

2 王旭東;;基于Lab Windows/CVI7.1綜合檢測(cè)系統(tǒng)[J];今日電子;2007年08期

3 本刊編輯部;;科技期刊不端文獻(xiàn)檢測(cè)系統(tǒng)使用情況通報(bào)[J];電訊技術(shù);2009年10期

4 張立平;;空調(diào)生產(chǎn)線檢測(cè)系統(tǒng)的設(shè)計(jì)和應(yīng)用[J];自動(dòng)化與信息工程;2010年02期

5 劉成軍;;淺談云計(jì)算的木馬檢測(cè)系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年24期

6 鄭春瑞;檢測(cè)系統(tǒng)今后的課題——面向未來(lái)探索基本要點(diǎn)[J];組合機(jī)床與自動(dòng)化加工技術(shù);1985年12期

7 徐大慶;多媒體檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的一種方法[J];計(jì)算機(jī)應(yīng)用;1997年03期

8 程仁洪;一種實(shí)用的傾斜角檢測(cè)系統(tǒng)[J];基礎(chǔ)自動(dòng)化;1997年05期

9 蔣曉松;張?jiān)诘?楊志平;許世宏;張慶海;;無(wú)線電綜合檢測(cè)系統(tǒng)[J];電子測(cè)量技術(shù);2002年05期

10 劉琪,馬殙;天津輕軌列車出入庫(kù)檢測(cè)系統(tǒng)[J];移動(dòng)通信;2003年11期

相關(guān)會(huì)議論文 前10條

1 馬豐嶺;黃波;;智能型閘盤偏擺檢測(cè)系統(tǒng)的設(shè)計(jì)研究[A];第24屆全國(guó)煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第6屆中國(guó)煤礦信息化與自動(dòng)化高層論壇論文集[C];2014年

2 唐宇;王洪;唐孟培;;新型激光誘導(dǎo)熒光光纖檢測(cè)系統(tǒng)的研制[A];第一屆中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2007年

3 陳牡丹;周光明;;超聲C掃描檢測(cè)系統(tǒng)性能校核研究[A];中國(guó)力學(xué)大會(huì)——2013論文摘要集[C];2013年

4 王振華;呂華;陸祖宏;;單分子熒光漲落檢測(cè)系統(tǒng)的研制[A];中國(guó)生物醫(yī)學(xué)工程學(xué)會(huì)醫(yī)學(xué)物理分會(huì)第十次學(xué)術(shù)年會(huì)、中華醫(yī)學(xué)會(huì)醫(yī)學(xué)工程學(xué)分會(huì)第一次醫(yī)療設(shè)備科學(xué)管理研討會(huì)論文集[C];1998年

5 陳志強(qiáng);高文煥;康克軍;張麗;;大型集裝箱檢測(cè)系統(tǒng)的新型客戶／服務(wù)器網(wǎng)絡(luò)模型[A];第9屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集[C];1998年

6 韓疆;劉曉星;潘接林;張建平;顏永紅;張鵬遠(yuǎn);呂萍;劉建;;一種網(wǎng)絡(luò)信息安全中的語(yǔ)音關(guān)鍵詞檢測(cè)系統(tǒng)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

7 鄧延;;SDI-5420 Delta X大型超聲C-掃描檢測(cè)系統(tǒng)[A];陜西省第九屆無(wú)損檢測(cè)年會(huì)陜西省機(jī)械工程學(xué)會(huì)無(wú)損檢測(cè)分會(huì)論文集[C];2004年

8 陳宋宋;郭延凱;鐘鳴;;移動(dòng)式電力能效檢測(cè)系統(tǒng)及方法[A];2013年中國(guó)電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2013年

9 向新程;周立業(yè);張顏民;灻毅斌;王立強(qiáng);李富榮;高寶增;張玉愛(ài);苗積臣;劉錫明;;組合移動(dòng)式鈷-60集裝箱檢測(cè)系統(tǒng)的研制[A];第十屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集[C];2000年

10 鐘文勇;唐勝江;楊新文;;電子學(xué)系統(tǒng)涂層檢測(cè)系統(tǒng)開發(fā)[A];第二屆全國(guó)信息與電子工程學(xué)術(shù)交流會(huì)暨第十三屆四川省電子學(xué)會(huì)曙光分會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 齊澤萍;治超不停車檢測(cè)系統(tǒng)在我省啟用[N];山西經(jīng)濟(jì)日?qǐng)?bào);2008年

2 蔣夢(mèng)恬 記者 王春;手機(jī)安全檢測(cè)系統(tǒng)令“流氓”軟件無(wú)處遁形[N];科技日?qǐng)?bào);2013年

3 郭曉;鄭州建設(shè)簡(jiǎn)易工況檢測(cè)系統(tǒng)[N];中國(guó)環(huán)境報(bào);2006年

4 馬曉艷;全省高速公路57個(gè)治超點(diǎn)啟用不停車檢測(cè)系統(tǒng)[N];山西經(jīng)濟(jì)日?qǐng)?bào);2008年

5 孫宏;先進(jìn)光學(xué)3D板坯表面 質(zhì)量檢測(cè)系統(tǒng)[N];世界金屬導(dǎo)報(bào);2012年

6 謝昌民;運(yùn)城高速全部實(shí)現(xiàn)不停車超限超載檢測(cè)[N];山西日?qǐng)?bào);2008年

7 本報(bào)記者 張海瑞;創(chuàng)新科技治超 步入長(zhǎng)效軌道[N];太原日?qǐng)?bào);2011年

8 方通;網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)——構(gòu)筑全方位保障[N];中國(guó)水利報(bào);2003年

9 劉永春;陽(yáng)高縣科技治超效果好[N];大同日?qǐng)?bào);2011年

10 可可;特諾恩轉(zhuǎn)爐噴濺檢測(cè)系統(tǒng)技術(shù)獲獎(jiǎng)[N];中國(guó)冶金報(bào);2011年

相關(guān)博士學(xué)位論文 前10條

1 郭曉玲;含羧基類有機(jī)物修飾碳基電極的構(gòu)建及細(xì)胞毒性檢測(cè)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 漆海霞;畜禽舍關(guān)鍵環(huán)境因子檢測(cè)系統(tǒng)的研究[D];華南農(nóng)業(yè)大學(xué);2016年

3 萬(wàn)志遠(yuǎn);Web應(yīng)用程序漏洞檢測(cè)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2014年

4 黃治虎;基于網(wǎng)頁(yè)信息和圖像特征的Web圖像檢索研究[D];重慶大學(xué);2015年

5 張璞;Web評(píng)論文本情感分類方法研究[D];重慶大學(xué);2015年

6 劉維東;Web短文本知識(shí)關(guān)聯(lián)模型及其語(yǔ)義連貫計(jì)算方法[D];上海大學(xué);2016年

7 孫慧峰;基于協(xié)同過(guò)濾的個(gè)性化Web推薦[D];北京郵電大學(xué);2012年

8 馬宗偉;基于衛(wèi)星遙感的我國(guó)PM_(2.5)時(shí)空分布研究[D];南京大學(xué);2015年

9 李賢;基于統(tǒng)計(jì)模型的漢語(yǔ)歌聲合成研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

10 陳志凱;GaN HEMT微波器件大信號(hào)統(tǒng)計(jì)模型研究[D];電子科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 李嘉偉;多維自適應(yīng)Web異常檢測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2017年

2 韓浩;基于WSN農(nóng)作物生理參數(shù)檢測(cè)系統(tǒng)的設(shè)計(jì)與研究[D];寧夏大學(xué);2015年

3 王磊;基于DM642的人臉檢測(cè)系統(tǒng)[D];蘇州大學(xué);2015年

4 倪生冬;維語(yǔ)版《士兵職業(yè)基本適應(yīng)性檢測(cè)系統(tǒng)》的編制與信效度檢驗(yàn)[D];第四軍醫(yī)大學(xué);2015年

5 錢云鵬;基于CCD的血漿乳糜度檢測(cè)系統(tǒng)設(shè)計(jì)[D];大連理工大學(xué);2015年

6 張鶴;高速、低噪聲太赫茲?rùn)z測(cè)系統(tǒng)[D];南京大學(xué);2014年

7 宋智明;模塊化實(shí)時(shí)人臉檢測(cè)系統(tǒng)的設(shè)計(jì)[D];大連理工大學(xué);2015年

8 葛楠;寧波移動(dòng)公司基站維護(hù)檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

9 王剛;基于多傳感器的可穿戴跌倒檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2015年

10 張巖;圓網(wǎng)壁紙印刷機(jī)套印檢測(cè)系統(tǒng)的研究[D];西安工程大學(xué);2015年

，

本文編號(hào)：2333029