本文選題：Netflow + Spark��； 參考：《北京交通大學(xué)》2016年碩士論文

【摘要】：在DDos監(jiān)測的研究方面,各種模型被提出來,但是都是針對某些特定領(lǐng)域特定場景下的,普適性不夠；而在大數(shù)據(jù)平臺方面,也涌現(xiàn)出了很多好的平臺,比如Hadoop, Spark等,但并不直接支持惡意流量監(jiān)測：在Netflow的現(xiàn)有工具及現(xiàn)有研究中,對于惡意流量監(jiān)測也有部分工具,但不支持DDos監(jiān)測。如果能將技術(shù)研究與技術(shù)平臺的優(yōu)勢結(jié)合起來,對于DDos的防御也許會更有效。本文的成果在于：第一,提出了一個基于Spark平臺的網(wǎng)絡(luò)惡意流量監(jiān)測系統(tǒng)模型,重點監(jiān)測DDos攻擊,擬定了相關(guān)的原則。提出了基于線性擬合的特征選擇方法,基于此特征改進(jìn)了基于機器學(xué)習(xí)的檢測算法。第二,搭建了基于Spark平臺的網(wǎng)絡(luò)惡意流量監(jiān)測平臺,包括Hadoop平臺與Spark平臺。第三,在Spark平臺及Hadoop平臺,分別實現(xiàn)了上述四種改進(jìn)算法,并進(jìn)行了實驗比較,選出了最優(yōu)算法并進(jìn)行了解釋。機器學(xué)習(xí)算法在特征選取時,常常只獨立考慮相關(guān)屬性,這無法反映一些相關(guān)性。我們提出將請求流量與服務(wù)流量進(jìn)行線性擬合并將殘差作為特征,同時考慮到全面性,將平均包數(shù)與平均包大小也作為特征,這樣就可以在更大程度上模擬正常流量的特征�；谛碌奶卣�,本文改進(jìn)了基于機器學(xué)習(xí)的四個算法,分別是kmeans,決策樹,貝葉斯學(xué)習(xí)和P枷。利用Spark支持的機器學(xué)習(xí)算法接口,我們開發(fā)了相應(yīng)的算法。其中,聚類算法kmeans在確定簇類中心點中嘗試了不同的方法。本文分析了機器學(xué)習(xí)算法對于惡意流量檢測的可用性,分析了Spark平臺對于機器學(xué)習(xí)算法的實用性,結(jié)合已有的惡意流量檢測方法以及上述算法,設(shè)計并實現(xiàn)了一個惡意流量檢測平臺,可以針對蠕蟲,木馬,僵尸網(wǎng)絡(luò),DDos攻擊等進(jìn)行比較全面的檢測。用戶在使用時,可根據(jù)時間的要求選擇不同的模式。本論文在基于線性擬合的特征提取方法的基礎(chǔ)上,對改進(jìn)的算法進(jìn)行了實驗比較及分析。
[Abstract]:In the research of DDos monitoring, a variety of models have been proposed, but they are not universal enough for some specific fields and specific scenarios. In the big data platform, many good platforms have emerged, such as Hadoop, Spark, etc. But it does not directly support malicious traffic monitoring: in the existing tools and existing research of Netflow, there are some tools for malicious traffic monitoring, but do not support DDos monitoring. A combination of technology research and the advantages of a technology platform might be more effective against DDos. The main achievements of this paper are as follows: first, a network malicious traffic monitoring system model based on Spark platform is proposed, which focuses on monitoring DDos attacks and formulates relevant principles. A feature selection method based on linear fitting is proposed, and the detection algorithm based on machine learning is improved based on this feature. Secondly, a network malicious traffic monitoring platform based on Spark platform is built, including Hadoop platform and Spark platform. Thirdly, the above four improved algorithms are implemented on Spark platform and Hadoop platform, and the experimental results are compared, and the optimal algorithm is selected and explained. In feature selection, machine learning algorithms often only consider correlation attributes independently, which can not reflect some correlations. We propose a linear combination of request traffic and service traffic with residuals as features, and the average number of packets and average packet size are also considered as features, so that the characteristics of normal traffic can be simulated to a greater extent. Based on the new features, this paper improves four algorithms based on machine learning, namely, kmeans, decision tree, Bayesian learning and P-flail. Using the machine learning algorithm interface supported by Spark, we develop the corresponding algorithm. Among them, the clustering algorithm kmeans has tried different methods in determining the cluster center point. This paper analyzes the availability of machine learning algorithm for malicious traffic detection, and the practicability of Spark platform for machine learning algorithm, combined with the existing malicious traffic detection methods and the above algorithms. A malicious traffic detection platform is designed and implemented, which can detect worm, Trojan horse, botnet DDos attack and so on. Users in use, according to the requirements of time to choose different modes. Based on the feature extraction method based on linear fitting, the improved algorithm is compared and analyzed experimentally in this paper.
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP393.06

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張明玉,倪志偉;基于機器學(xué)習(xí)的智能決策支持系統(tǒng)[J];淮南師范學(xué)院學(xué)報;2005年03期

2 楊凌霄;武建平;;機器學(xué)習(xí)方法在人臉檢測中的應(yīng)用[J];計算機與數(shù)字工程;2008年03期

3 ;第十一屆中國機器學(xué)習(xí)會議[J];智能系統(tǒng)學(xué)報;2008年02期

4 ;第14屆中國機器學(xué)習(xí)會議[J];智能系統(tǒng)學(xué)報;2012年06期

5 費宗銘;呂建;王志堅;陳道蓄;徐家福;;機器學(xué)習(xí)[J];計算機科學(xué);1991年01期

6 趙沁平;魏華;王軍玲;;機器學(xué)習(xí)技術(shù)與機器學(xué)習(xí)系統(tǒng)[J];計算機科學(xué);1993年05期

7 姚敏;機器學(xué)習(xí)及其發(fā)展方向[J];計算機時代;1994年04期

8 ;第31屆機器學(xué)習(xí)國際會議(英文)[J];智能系統(tǒng)學(xué)報;2014年01期

9 黃海濱;機器學(xué)習(xí)及其主要策略[J];河池師范高等�？茖W(xué)校學(xué)報(自然科學(xué)版);2000年04期

10 佘玉梅;一種協(xié)調(diào)機器學(xué)習(xí)方法研究[J];云南民族學(xué)院學(xué)報(自然科學(xué)版);2000年03期

相關(guān)會議論文 前10條

1 王玨;;歸納機器學(xué)習(xí)[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

2 王昊;李銀波;紀(jì)志梁;;利用機器學(xué)習(xí)方法預(yù)測嚴(yán)重藥物不良反應(yīng)-呼吸困難[A];中國化學(xué)會第28屆學(xué)術(shù)年會第13分會場摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機器學(xué)習(xí)在中醫(yī)計算機診斷識別系統(tǒng)中的應(yīng)用思考[A];第一屆全國中西醫(yī)結(jié)合診斷學(xué)術(shù)會議論文選集[C];2006年

7 蔡健平;林世平;;基于機器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價模型參數(shù)的機器學(xué)習(xí)——一個三類線性模式分類器的實現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 程國建;蔡磊;潘華賢;;核向量機在大規(guī)模機器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國青年信息與管理學(xué)者大會論文集[C];2009年

10 張鈸;張鈴;;統(tǒng)計學(xué)習(xí)理論及其應(yīng)用[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

相關(guān)重要報紙文章 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機器學(xué)習(xí)與智能化社會[N];中國郵政報;2003年

2 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

3 本報記者 房琳琳;合久必分：分布式“機器學(xué)習(xí)”應(yīng)運而生[N];科技日報;2014年

4 雨辰;機器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報;2014年

5 百度公司技術(shù)副總監(jiān) 多媒體部負(fù)責(zé)人 余凱;深度學(xué)習(xí)與多媒體搜索技術(shù)演進(jìn)[N];中國信息化周報;2013年

6 本報記者 余建斌;機器學(xué)習(xí)與互聯(lián)網(wǎng)搜索[N];人民日報;2011年

7 本報記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日報;2008年

8 記者　 彭德倩;機器學(xué)習(xí)精度提升近6個百分點[N];解放日報;2006年

9 本報記者 閔杰;大數(shù)據(jù)熱 高端人才缺[N];中國電子報;2013年

10 沈建苗 編譯;如何成為大數(shù)據(jù)科學(xué)家[N];計算機世界;2013年

相關(guān)博士學(xué)位論文 前10條

1 董春茹;機器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

2 姚明臣;機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究[D];大連理工大學(xué);2016年

3 趙玉鵬;機器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

4 胡巍;面向格結(jié)構(gòu)的機器學(xué)習(xí)[D];上海交通大學(xué);2009年

5 張義榮;基于機器學(xué)習(xí)的入侵檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

6 錢線;快速精確的結(jié)構(gòu)化機器學(xué)習(xí)方法研究[D];復(fù)旦大學(xué);2010年

7 梁錫軍;稀疏優(yōu)化在機器學(xué)習(xí)中的若干應(yīng)用[D];大連理工大學(xué);2013年

8 蔣剛;核機器學(xué)習(xí)方法若干問題研究[D];西南交通大學(xué);2006年

9 陳慧靈;面向智能決策問題的機器學(xué)習(xí)方法研究[D];吉林大學(xué);2012年

10 周偉達(dá);核機器學(xué)習(xí)方法研究[D];西安電子科技大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 張柯;基于機器學(xué)習(xí)的錯誤定位方法研究[D];南京航空航天大學(xué);2015年

2 于雯;機器學(xué)習(xí)在信用評級中的應(yīng)用[D];中國海洋大學(xué);2015年

3 裴松年;基于機器學(xué)習(xí)的分類算法研究[D];中北大學(xué);2016年

4 李紅;基于機器學(xué)習(xí)的中醫(yī)藥配方評估研究[D];南京大學(xué);2016年

5 周文U，

本文編號：1855995