【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,出于各種安全、經(jīng)濟(jì)利益、隱私等因素的考慮,大量網(wǎng)絡(luò)應(yīng)用采用未明協(xié)議(也被稱(chēng)為私有協(xié)議、未知協(xié)議)。這些協(xié)議沒(méi)有公開(kāi)的協(xié)議規(guī)范用來(lái)識(shí)別協(xié)議報(bào)文,它的存在造成了較大安全隱患,不利于網(wǎng)絡(luò)安全監(jiān)管。例如大量惡意軟件在進(jìn)行通信進(jìn)而控制計(jì)算機(jī)時(shí)所采用的是未明協(xié)議,由于沒(méi)有公開(kāi)協(xié)議規(guī)范,不能對(duì)惡意流量進(jìn)行有效攔截,以至于造成網(wǎng)絡(luò)的大面積癱瘓及失泄密現(xiàn)象。在類(lèi)似安全事件中,未明流量的準(zhǔn)確識(shí)別分類(lèi)是處理惡意流量攔截等網(wǎng)絡(luò)安全監(jiān)管和控制問(wèn)題的重要手段,而獲取未明流量特征是準(zhǔn)確識(shí)別未明協(xié)議報(bào)文的關(guān)鍵。因此,挖掘未明流量特征,進(jìn)而分類(lèi)識(shí)別未明流量,是網(wǎng)絡(luò)監(jiān)管中一項(xiàng)重要任務(wù)。在實(shí)際網(wǎng)絡(luò)中,采集到的數(shù)據(jù)是多種類(lèi)型混合的報(bào)文數(shù)據(jù)集,由于受到接收條件的限制,接收到的數(shù)據(jù)常常是無(wú)序、離散的,不具有構(gòu)成會(huì)話(huà)的報(bào)文間約束關(guān)系。另外,需要處理分析的報(bào)文數(shù)據(jù)規(guī)模常常是巨大的。針對(duì)實(shí)際網(wǎng)絡(luò)數(shù)據(jù)的特性和對(duì)其準(zhǔn)確快速識(shí)別的要求,本文通過(guò)提取報(bào)文載荷格式特征,來(lái)實(shí)現(xiàn)以報(bào)文為顆粒度的混合未明報(bào)文分類(lèi)。論文的主要研究?jī)?nèi)容如下:1.針對(duì)聚類(lèi)特征矢量構(gòu)造及相關(guān)聚類(lèi)問(wèn)題,提出了基于熵估計(jì)的未明流量自動(dòng)分離算法(An Unknown Traffic Separation Method Based on Entropy Estimation,EMEE)。該算法利用字節(jié)熵矢量變化程度,度量各偏移位置上固定關(guān)鍵詞字節(jié)存在的可能性,初步估計(jì)固定位置關(guān)鍵詞所覆蓋區(qū)域,克服了依據(jù)人工經(jīng)驗(yàn)設(shè)定載荷截取長(zhǎng)度的弊端,采用兩級(jí)聚類(lèi)的方式對(duì)有效載荷進(jìn)行聚類(lèi),提高了聚類(lèi)效果并使得聚類(lèi)簇?cái)?shù)更加接近于真實(shí)種類(lèi)數(shù)目。采用DARPA數(shù)據(jù)集和校園網(wǎng)采集的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明EMEE算法能有效降低數(shù)據(jù)字段對(duì)未明流量分離的干擾并使得聚類(lèi)得到的簇?cái)?shù)接近于真實(shí)種類(lèi)數(shù)目,對(duì)18種類(lèi)型組成的混合報(bào)文集分離,各類(lèi)報(bào)文的漏報(bào)率和誤報(bào)率均低于2%,優(yōu)于傳統(tǒng)算法。2.針對(duì)報(bào)文關(guān)鍵詞序列提取的問(wèn)題,提出了基于字節(jié)鏈路的關(guān)鍵詞序列提取迭代算法(An Iterative Algorithm for Keyword Sequence Extraction Based on Byte Link,BLIS)。該算法通過(guò)以鏈路作為基本單元完成報(bào)文建模,有效地降低關(guān)鍵詞和數(shù)據(jù)字段的混淆程度;面向固定位置關(guān)鍵詞挖掘,通過(guò)鏈路熵矢量估計(jì)有效挖掘空間,然后在該空間內(nèi)得到帶位置信息的頻繁鏈路集,以較強(qiáng)約束從頻繁鏈路所構(gòu)造的字段中選出固定位置關(guān)鍵詞;面向可變位置關(guān)鍵詞,通過(guò)獲取頻繁鏈路方法搜索備選關(guān)鍵詞位置,對(duì)齊可變位置關(guān)鍵詞,迭代地完成后續(xù)可變位置關(guān)鍵詞的挖掘。利用DARPA數(shù)據(jù)集和校園網(wǎng)采集的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行評(píng)估,實(shí)驗(yàn)結(jié)果表明,和傳統(tǒng)方法提取到的特征相比,該方法提取到的特征形式和性能更具優(yōu)勢(shì)。3.設(shè)計(jì)了基于Hadoop平臺(tái)的未明流量關(guān)鍵詞提取系統(tǒng),設(shè)計(jì)并實(shí)現(xiàn)了并行的頻繁模式挖掘(改進(jìn)的Apriori和FP-Growth)算法。具體工作包括:1)改進(jìn)的Apriori和FP-Growth并行化算法設(shè)計(jì);2)并行Apriori算法根據(jù)軟件設(shè)計(jì)圖進(jìn)行了代碼實(shí)現(xiàn),而并行FP-Growth借助Mahout進(jìn)行了實(shí)現(xiàn);3)性能測(cè)試。在Hadoop分布式平臺(tái)上的測(cè)試結(jié)果表明,相比較于串性算法,并行化處理隨數(shù)據(jù)規(guī)模的增長(zhǎng)更為緩慢,處理海量報(bào)文時(shí),并行算法的運(yùn)算效率較高。
【圖文】：

隨著報(bào)文集數(shù)據(jù)規(guī)模的增大，未明報(bào)文聚類(lèi)和頻繁模式挖掘階段運(yùn)行時(shí)間不斷增加。如圖4 所示，在不同數(shù)據(jù)規(guī)模情況下，對(duì)未明報(bào)文 Kmeans 聚類(lèi)的串行算法運(yùn)行時(shí)間進(jìn)行了測(cè)試，在保持簇?cái)?shù)k 不變的情況下，逐漸增加報(bào)文數(shù)目，運(yùn)行時(shí)間增長(zhǎng)迅速。如圖 5 所示，對(duì)不同條件下改進(jìn) Apriori 串行算法的運(yùn)行時(shí)間進(jìn)行了測(cè)試，，分別從字節(jié)數(shù)目和報(bào)文數(shù)目

不同情況下Apriori串行算法運(yùn)行時(shí)間
【學(xué)位授予單位】：戰(zhàn)略支援部隊(duì)信息工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP393.08

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 靳小龍;王元卓;程學(xué)旗;;大數(shù)據(jù)的研究體系與現(xiàn)狀[J];信息通信技術(shù);2013年06期

2 程學(xué)旗;王元卓;靳小龍;;網(wǎng)絡(luò)大數(shù)據(jù)計(jì)算技術(shù)與應(yīng)用綜述[J];科研信息化技術(shù)與應(yīng)用;2013年06期

3 李斌;;大數(shù)據(jù)及其發(fā)展趨勢(shì)研究[J];廣西教育;2013年35期

4 王變琴;余順爭(zhēng);;自適應(yīng)網(wǎng)絡(luò)應(yīng)用特征發(fā)現(xiàn)方法[J];通信學(xué)報(bào);2013年04期

5 黎敏;余順爭(zhēng);;抗噪的未知應(yīng)用層協(xié)議報(bào)文格式最佳分段方法[J];軟件學(xué)報(bào);2013年03期

6 ;谷歌研發(fā)出新技術(shù)Dremel輕松處理大數(shù)據(jù)[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2013年02期

7 查禮;;基于Hadoop的大數(shù)據(jù)計(jì)算技術(shù)[J];科研信息化技術(shù)與應(yīng)用;2012年06期

8 路林;羅軍勇;劉琰;李明濤;;協(xié)議簽名特征自動(dòng)發(fā)現(xiàn)方法[J];信息工程大學(xué)學(xué)報(bào);2012年05期

9 安文娟;李丹;辛陽(yáng);;基于聚類(lèi)算法的實(shí)時(shí)IP流量識(shí)別技術(shù)研究[J];信息網(wǎng)絡(luò)安全;2012年10期

10 熊剛;孟姣;曹自剛;王勇;郭莉;方濱興;;網(wǎng)絡(luò)流量分類(lèi)研究進(jìn)展與展望[J];集成技術(shù);2012年01期

相關(guān)碩士學(xué)位論文 前10條

1 張殿超;大數(shù)據(jù)平臺(tái)計(jì)算架構(gòu)及其應(yīng)用研究[D];南京郵電大學(xué);2017年

2 馮軒;基于Pregel模型的大規(guī)模分布式子圖枚舉算法研究與實(shí)現(xiàn)[D];南京大學(xué);2017年

3 賀翔宇;基于Storm的實(shí)時(shí)推薦系統(tǒng)研究與設(shè)計(jì)[D];中北大學(xué);2017年

4 陽(yáng)水橋;未知協(xié)議感知的網(wǎng)絡(luò)流量分類(lèi)方法[D];浙江大學(xué);2016年

5 廖晶貴;基于Hadoop的大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

6 張唯唯;基于GPU的高性能計(jì)算研究與應(yīng)用[D];南京航空航天大學(xué);2015年

7 伊瑤瑤;基于Hadoop的數(shù)據(jù)挖掘技術(shù)研究[D];南京郵電大學(xué);2015年

8 李雷;大數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲(chǔ)與查詢(xún)的研究[D];哈爾濱工業(yè)大學(xué);2014年

9 夏葳;網(wǎng)絡(luò)流量中應(yīng)用層協(xié)議識(shí)別與分類(lèi)技術(shù)的研究與實(shí)現(xiàn)[D];華北電力大學(xué);2014年

10 謝朋峻;基于MapReduce的頻繁項(xiàng)集挖掘算法的并行化研究[D];南京大學(xué);2012年

本文編號(hào)：2600118