【摘要】：隨著計算機科學(xué)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)的開放性和共享性等優(yōu)點越來越明顯,網(wǎng)絡(luò)信息技術(shù)被運用到諸多領(lǐng)域,應(yīng)用范圍遍及世界每個角落的政治、經(jīng)濟、金融、教育和軍事等領(lǐng)域。由于計算機及網(wǎng)絡(luò)的脆弱性、網(wǎng)絡(luò)協(xié)議的缺陷和隱藏的安全漏洞,給網(wǎng)絡(luò)安全帶來極大威脅。網(wǎng)絡(luò)流量數(shù)據(jù)和網(wǎng)絡(luò)日志蘊含著豐富的有價值信息,在用戶行為分析、上網(wǎng)行為管理、入侵檢測和網(wǎng)絡(luò)管理等許多領(lǐng)域具有非常高的價值,最初的網(wǎng)絡(luò)數(shù)據(jù)處理方式是使用單臺計算機對數(shù)據(jù)進行計算分析,單臺處理設(shè)備在CPU、I/O與存儲方面的性能受到硬件當時硬件發(fā)展水平的限制且沒有擴展性。面對當今高速發(fā)展的高性能硬件設(shè)備,導(dǎo)致系統(tǒng)產(chǎn)生數(shù)據(jù)量和網(wǎng)絡(luò)中傳輸?shù)牧髁砍尸F(xiàn)幾何級數(shù)級別增加,傳統(tǒng)檢測方法無法滿足大規(guī)模數(shù)據(jù)分析對時間和效率的要求,在實際應(yīng)用中對數(shù)據(jù)分析的處理時間要求越來越高,具備高吞吐和低時延的并行計算成為了數(shù)據(jù)處理的重要指標,分布式異常檢測的研究成為異常檢測研究領(lǐng)域的新風向標。針對網(wǎng)絡(luò)安全形勢日趨嚴峻和海量網(wǎng)絡(luò)數(shù)據(jù)快速增長的背景下,本文設(shè)計并實現(xiàn)基于云計算的分布式異常網(wǎng)絡(luò)流量檢測的實驗,通過云計算對大規(guī)模數(shù)據(jù)的存儲和計算能力,解決入侵檢測、網(wǎng)絡(luò)流量分析及日志數(shù)據(jù)的采集、存儲和分析面臨的主要瓶頸問題,運用Hadoop的MapReduce分布式并行計算模型,能夠高效和可靠地并行處理大規(guī)模數(shù)據(jù)集。本文有關(guān)網(wǎng)絡(luò)異常流量分布式檢測的主要研究內(nèi)容如下:(1)分布式異常檢測平臺架構(gòu)研究通過需求分析完成分布式入侵檢測平臺架構(gòu)設(shè)計,整體架構(gòu)分為網(wǎng)絡(luò)采集、分布式存儲和異常檢測分析三個層次,按照需求完成網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)異常檢測的實驗環(huán)境的搭建,通過訓(xùn)練樣本訓(xùn)練建立異常檢測模型,使用歷史特征形成特征異常檢測特征庫,可以提高異常檢測系統(tǒng)的數(shù)據(jù)處理能力,提高檢測效率和檢測準確率,可以擴展系統(tǒng)的學(xué)習(xí)能力挖掘分析更深層次的信息。(2)網(wǎng)絡(luò)數(shù)據(jù)采集和網(wǎng)絡(luò)日志收集研究采用Flume從多源前端服務(wù)器中采集日志和告警信息等網(wǎng)絡(luò)日志數(shù)據(jù)存儲到HDFS分布式文件系統(tǒng)中,使用Sniffer技術(shù)采集網(wǎng)絡(luò)流量并對網(wǎng)絡(luò)流量進行特征提取,采集端運用WinPcap與LibPcap采集網(wǎng)絡(luò)數(shù)據(jù),實現(xiàn)會話連接重構(gòu)方式提取網(wǎng)絡(luò)流量并存儲特征值,將KDD99格式特征數(shù)據(jù)傳送到分析處理系統(tǒng)的HDFS文件系統(tǒng)中,對入侵告警信息進行相關(guān)性融合分析。(3)數(shù)據(jù)分析算法研究將模糊C-均值聚類算法、詞匯分割分類算法和統(tǒng)計學(xué)方法應(yīng)用到采集的網(wǎng)絡(luò)流量和網(wǎng)絡(luò)日志數(shù)據(jù),驗證算法的可行性和檢驗分析結(jié)果的準確率。通過預(yù)處理網(wǎng)絡(luò)數(shù)據(jù)和使用基于網(wǎng)絡(luò)流量相關(guān)性的模糊C-均值聚類算法完成聚類分析,提出網(wǎng)絡(luò)流量相關(guān)性四關(guān)鍵要素和基于權(quán)值的目標函數(shù)計算方法,從訓(xùn)練樣本數(shù)據(jù)獲取聚類簇中心值和聚類類型,使用異常方差統(tǒng)計的方法,檢測分布式拒絕服務(wù)攻擊行為,并構(gòu)建歷史特征庫滿足對未來數(shù)據(jù)快速分析的需求。(4)基于分布式的網(wǎng)絡(luò)異常檢測研究將機器學(xué)習(xí)算法和MapReduce分布式計算模型結(jié)合在Hadoop平臺上進行并行化處理,將存儲在HDFS分布式文件系統(tǒng)中網(wǎng)絡(luò)采集數(shù)據(jù)、日志和告警信息,采用MapReduce和Flume等分布式計算技術(shù)完成分布式異常檢測實驗、融合告警信息,通過聚類算法和分類算法深入挖掘數(shù)據(jù)中的異常信息和異常網(wǎng)絡(luò)流量,對分布式異常檢測的時間效率、準確率、漏報率和誤報率進行了分析。綜上所述,本論文構(gòu)建的網(wǎng)絡(luò)異常流量分析實驗有效地解決了網(wǎng)絡(luò)數(shù)據(jù)的采集、存儲與異常分析等問題,融合了Hadoop與數(shù)據(jù)挖掘各自的優(yōu)勢,充分發(fā)揮了Hadoop分布式計算框架的高擴展性和高吞吐性等特性,利用數(shù)據(jù)挖掘算法深入檢測網(wǎng)絡(luò)事件中的異常信息,形成一整套比較完整且準確度較高的采集、存儲、分析和特征建立過程。
【圖文】：

乏安全意識和管理不善，，導(dǎo)致企業(yè) APT 攻擊的發(fā)生；信息泄漏。敏感數(shù)據(jù)在存儲和傳輸中有意或無意中泄漏給非授權(quán)人員。用電磁泄漏、嗅探或網(wǎng)絡(luò)攻擊等手段獲取目標主機上的數(shù)據(jù)；非授權(quán)訪問。通過躲避系統(tǒng)訪問控制機制、身份冒充或越權(quán)訪問等方式訪問非授權(quán)訪問的使用計算機網(wǎng)絡(luò)資源；拒絕服務(wù)攻擊。通過對網(wǎng)絡(luò)服務(wù)系統(tǒng)發(fā)起非正常的網(wǎng)絡(luò)流量，導(dǎo)致目標服務(wù)或?qū)е驴捎觅Y源減少而合法用戶無法得到服務(wù)；破壞數(shù)據(jù)完整性。以非法方式獲取對數(shù)據(jù)的訪問權(quán)，通過篡改、刪除、方式， 以達到攻擊者修改或破壞數(shù)據(jù)的目的；）網(wǎng)絡(luò)傳播病毒。利用系統(tǒng)和網(wǎng)絡(luò)漏洞制作惡意程序，通過網(wǎng)絡(luò)或移動介實現(xiàn)破壞數(shù)據(jù)、竊取數(shù)據(jù)、挖礦、控制目標主機和構(gòu)建僵尸網(wǎng)絡(luò)等目的。中國國家信息安全漏洞共享平臺統(tǒng)計 2016 年收錄 14968 個漏洞，如圖 1-ommon Vulnerabilities and Exposures 公布和收錄的網(wǎng)絡(luò)安全漏洞呈現(xiàn)逐年遞是安全漏洞創(chuàng)紀錄的一年，如圖 1-2 所示；而 exploit-db 每年都有大量新公布，收錄的漏洞攻擊程序的總數(shù)量在持續(xù)增長，如圖 1-3 所示，這些漏擊程序的泄露，給網(wǎng)絡(luò)安全帶來嚴重威脅。

第 1 章 緒論0 個漏洞以上；2、比上一年的增速數(shù)量和增速非�？�，增速超過了 1/3披露組織表示，2017 年將是網(wǎng)絡(luò)安全的漏洞爆發(fā)年，這一年成為有史多和漏洞增速破紀錄的一年[5]。
【學(xué)位授予單位】：西南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP393.06

【參考文獻】

相關(guān)期刊論文 前10條

1 羅梓露;方勇;;基于Hadoop的DDoS檢測框架[J];信息安全研究;2015年03期

2 韋瑋;;英國BAE公司預(yù)測2015年網(wǎng)絡(luò)安全五大發(fā)展趨勢[J];防務(wù)視點;2015年03期

3 吳建勝;張文鵬;馬垣;;KDDCUP99數(shù)據(jù)集的數(shù)據(jù)分析研究[J];計算機應(yīng)用與軟件;2014年11期

4 張川;鄧珍榮;鄧星;黃文明;;基于Chukwa的大規(guī)模日志智能監(jiān)測收集方法[J];計算機工程與設(shè)計;2014年09期

5 楊鋒英;劉會超;;基于Hadoop的在線網(wǎng)絡(luò)日志分析系統(tǒng)研究[J];計算機應(yīng)用與軟件;2014年08期

6 郝璇;;基于Apache Flume的分布式日志收集系統(tǒng)設(shè)計與實現(xiàn)[J];軟件導(dǎo)刊;2014年07期

7 林利;石文昌;;構(gòu)建云計算平臺的開源軟件綜述[J];計算機科學(xué);2012年11期

8 王進;陽小龍;隆克平;;基于大偏差統(tǒng)計模型的Http-Flood DDoS檢測機制及性能分析[J];軟件學(xué)報;2012年05期

9 王千;王成;馮振元;葉金鳳;;K-means聚類算法研究綜述[J];電子設(shè)計工程;2012年07期

10 向培素;;聚類算法綜述[J];西南民族大學(xué)學(xué)報(自然科學(xué)版);2011年S1期

本文編號：2627242