【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)通信數(shù)據(jù)保護(hù)需求的不斷提高,各種各樣的加密需求日新月異。雖然,加密技術(shù)可以提供隱藏身份保障數(shù)據(jù)安全,但也使出于網(wǎng)絡(luò)安全管理的網(wǎng)絡(luò)數(shù)據(jù)包檢測(cè)變得較之前更加困難。關(guān)于這項(xiàng)問(wèn)題已有許多的研究,并且提出了多種不同種類的解決方法。通常部署的網(wǎng)絡(luò)流量識(shí)別技術(shù)基于簡(jiǎn)單網(wǎng)絡(luò)數(shù)據(jù)包的載荷,端口,IP和網(wǎng)絡(luò)流量的統(tǒng)計(jì)特征。目前,基于網(wǎng)絡(luò)加密流量統(tǒng)計(jì)特征的機(jī)器學(xué)習(xí)識(shí)別方法應(yīng)用較為廣泛,但是基于有效特征的網(wǎng)絡(luò)加密流量識(shí)別方法的難點(diǎn)在于如何從加密流量中尋找到有效且關(guān)聯(lián)性較強(qiáng)的特征,特征的選擇直接影響機(jī)器學(xué)習(xí)模型的分類效果。因此,網(wǎng)絡(luò)加密流量中對(duì)特征的學(xué)習(xí)和挖掘是非常重要的。本文在對(duì)以往相關(guān)研究成果進(jìn)行分析的基礎(chǔ)上,深入分析本文中用到的匿名軟件的運(yùn)行機(jī)制,將其運(yùn)行過(guò)程與SOCKS5協(xié)議相結(jié)合,基于數(shù)據(jù)挖掘從不同角度挖掘關(guān)聯(lián)性較強(qiáng)的加密流量特征,多層次的對(duì)特征數(shù)據(jù)進(jìn)行處理,進(jìn)而提升機(jī)器學(xué)習(xí)模型的分類效果。首先,提出了一種基于Isolation Forest和XGBoost的網(wǎng)絡(luò)加密流量識(shí)別方法。將采集到的網(wǎng)絡(luò)加密流量和正常流量分流提取特征后共同利用Isolation Forest進(jìn)行降噪處理,減少噪聲點(diǎn)對(duì)特征數(shù)據(jù)的影響,之后利用機(jī)器學(xué)習(xí)模型XGBoost對(duì)其進(jìn)行網(wǎng)絡(luò)加密流量的識(shí)別。其次,提出了一種基于Spark并行加速DBSCAN和XGBoost的網(wǎng)絡(luò)加密流量分類方法。該方法的目的是挖掘關(guān)聯(lián)性更強(qiáng)的加密流量特征,由于DBSCAN聚類需要兩兩計(jì)算樣本間的相對(duì)距離,時(shí)間消耗大,所以,本文利用Spark多線程并行化加速聚類的過(guò)程。在原有網(wǎng)絡(luò)加密流量特征種類的基礎(chǔ)上,深入分析匿名代理,對(duì)其客戶端和服務(wù)器端雙向通信交互中挖掘有效特征,進(jìn)而多方面組合不同的特征數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,不同的特征類型,對(duì)機(jī)器學(xué)習(xí)模型的分類效果影響較大。本文將數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)模型相結(jié)合并應(yīng)用到網(wǎng)絡(luò)加密流量識(shí)別的研究中,對(duì)匿名代理深入分析,多方面和多維度的挖掘有效的加密流量特征和數(shù)據(jù)處理方法并結(jié)合真實(shí)的高速網(wǎng)絡(luò)環(huán)境,對(duì)加密流量的準(zhǔn)確識(shí)別做出貢獻(xiàn)。
【圖文】：

a) 加密流量 b) 背景流量圖 3-1 加密流量和背景流量數(shù)據(jù)Fig. 3-1 Encrypted traffic and background traffic data3.3.5 識(shí)別流程基于 Isolation Forest 和 XGBoost 的網(wǎng)絡(luò)加密流量識(shí)別方法的具體識(shí)別流程如下：1．利用匿名代理軟件進(jìn)行加密流量采集和不使用代理軟件對(duì)正常流量進(jìn)行捕獲，然后將采集到的數(shù)據(jù)保存到 PCAP 文件中；2．利用 Libnids 網(wǎng)絡(luò)入侵檢測(cè)開(kāi)發(fā)包對(duì) PCAP 流量文件進(jìn)行解析，解析的原則是通過(guò)四元組相同對(duì)網(wǎng)絡(luò)流量進(jìn)行分流(這里無(wú)論是加密流量還是正常流量都進(jìn)行分流操作)，分流的目的是保障特征提取的基本信息都來(lái)自一組完整的TCP 三次握手成功之后產(chǎn)生的交互數(shù)據(jù)；3．分流完成之后，需要提取每條同一流中網(wǎng)絡(luò)數(shù)據(jù)包的特征，特征提取的基本流程是解析以太網(wǎng)協(xié)議首部，IP 首部，TCP 首部等協(xié)議字段，考慮到匿名代理需要加密載荷數(shù)據(jù)，相比較正常流量的轉(zhuǎn)發(fā)不需要加密過(guò)程，匿名代理轉(zhuǎn)

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文為 12987，也即是提取到特征的加密流量和背景流量的總流數(shù)。不同噪聲對(duì)最終 XGBoost 分類模型識(shí)別加密流量的效果的影響如表 3-2 所示，，如所示不同數(shù)量噪聲對(duì) XGBoost 分類模型性能的影響。表 3-2 噪聲個(gè)數(shù)分布影響Table 3-2 Effect of the number of noise噪聲個(gè)數(shù) 清洗完成總樣本數(shù) 準(zhǔn)確率% 召回率%0 12987 93.67 91.98265 12722 95.83 93.39675 12311 96.97 94.351306 11681 97.30 95.062726 10261 96.30 93.93
【學(xué)位授予單位】：哈爾濱理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP311.13;TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊大為;;網(wǎng)絡(luò)加密技術(shù)的應(yīng)用與部署[J];信息安全與通信保密;2007年12期

2 柏東明;馮梅;陳靚;萬(wàn)軍;王成;;網(wǎng)絡(luò)加密技術(shù)適用性研究[J];信息系統(tǒng)工程;2015年12期

3 張?zhí)m;;談?dòng)?jì)算機(jī)無(wú)線網(wǎng)絡(luò)加密方式的特點(diǎn)[J];電腦知識(shí)與技術(shù);2011年36期

4 張宇國(guó) ,楊輝軍;深入淺出網(wǎng)絡(luò)加密技術(shù)[J];電腦知識(shí)與技術(shù);2003年07期

5 郭繼坤,文東戈,馮福生;關(guān)于網(wǎng)絡(luò)加密方式的研究[J];煤礦機(jī)械;2002年07期

6 許建萍;;網(wǎng)絡(luò)文化對(duì)公民道德有何影響[J];人民論壇;2018年14期

7 何美麒;Windows2000網(wǎng)絡(luò)加密技術(shù)及應(yīng)用[J];蘇州市職業(yè)大學(xué)學(xué)報(bào);2002年02期

8 鄧劍勛;;船舶網(wǎng)絡(luò)加密數(shù)據(jù)傳輸中防丟失方法研究[J];艦船科學(xué)技術(shù);2017年20期

9 何亮;;無(wú)線網(wǎng)絡(luò)加密技術(shù)探究[J];信息與電腦(理論版);2013年11期

10 ;網(wǎng)絡(luò)加密新干線[J];計(jì)算機(jī)與網(wǎng)絡(luò);2002年04期

相關(guān)會(huì)議論文 前6條

1 黃海濱;;計(jì)算機(jī)無(wú)線網(wǎng)絡(luò)加密方式技術(shù)分析[A];2015年6月建筑科技與管理學(xué)術(shù)交流會(huì)論文集[C];2015年

2 戴浩;;網(wǎng)絡(luò)加密和系統(tǒng)工程[A];第五次全國(guó)計(jì)算機(jī)安全技術(shù)交流會(huì)論文集[C];1990年

3 周曉永;趙興濤;;網(wǎng)絡(luò)加密技術(shù)漫談[A];第十三屆全國(guó)計(jì)算機(jī)安全技術(shù)交流會(huì)論文集[C];1998年

4 黃慧娟;;基于網(wǎng)絡(luò)安全等級(jí)保護(hù)的移動(dòng)互聯(lián)網(wǎng)安全訪問(wèn)技術(shù)[A];2018第七屆全國(guó)安全等級(jí)保護(hù)技術(shù)大會(huì)論文集[C];2018年

5 漆澤民;趙海燕;王曉雯;;大數(shù)據(jù)時(shí)代下未成年人網(wǎng)絡(luò)犯罪防控[A];犯罪學(xué)論壇（第五卷）[C];2018年

6 王春枝;溪利亞;;PKI結(jié)構(gòu)下公文交換系統(tǒng)安全的設(shè)計(jì)與實(shí)現(xiàn)[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——中國(guó)科協(xié)第五屆青年學(xué)術(shù)年會(huì)論文集[C];2004年

相關(guān)重要報(bào)紙文章 前10條

1 厲瑋;這場(chǎng)貓鼠游戲，黑客為什么選了比特幣？[N];杭州日?qǐng)?bào);2017年

2 樂(lè)軍暉;寧波 順利實(shí)施網(wǎng)絡(luò)加密工程[N];中國(guó)城鄉(xiāng)金融報(bào);2004年

3 ;網(wǎng)絡(luò)加密傳送與認(rèn)證[N];中國(guó)計(jì)算機(jī)報(bào);2001年

4 劉平安;網(wǎng)絡(luò)加密杜絕醫(yī)藥代表“統(tǒng)方”[N];健康報(bào);2007年

5 本報(bào)記者 邊歆;大道通天獨(dú)自行[N];網(wǎng)絡(luò)世界;2005年

6 記者 王森;只需輕點(diǎn)鼠標(biāo)交易遍及全國(guó)[N];北方經(jīng)濟(jì)時(shí)報(bào);2009年

7 郭見(jiàn)洌;無(wú)線風(fēng)光在自由[N];計(jì)算機(jī)世界;2008年

8 記者 廖政軍;美英情報(bào)機(jī)構(gòu)聯(lián)手破解加密技術(shù)[N];人民日?qǐng)?bào);2013年

9 劉國(guó)仆;網(wǎng)絡(luò)銀行的風(fēng)險(xiǎn)與防范[N];科技日?qǐng)?bào);2001年

10 本報(bào)記者 郭濤;“新IP”讓網(wǎng)絡(luò)更敏捷、安全[N];中國(guó)計(jì)算機(jī)報(bào);2015年

相關(guān)博士學(xué)位論文 前1條

1 趙博;網(wǎng)絡(luò)加密流量的協(xié)議不相關(guān)在線識(shí)別技術(shù)研究[D];解放軍信息工程大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 蘇陽(yáng)陽(yáng);基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)加密流量分類研究[D];哈爾濱理工大學(xué);2019年

2 劉冠君;基于網(wǎng)絡(luò)加密卡的傳輸層基本協(xié)議研究[D];黑龍江大學(xué);2012年

3 王建濱;基于FPGA技術(shù)的網(wǎng)絡(luò)加密卡研究[D];復(fù)旦大學(xué);2008年

4 時(shí)映鵬;基于FPGA技術(shù)的網(wǎng)絡(luò)加密卡[D];黑龍江大學(xué);2007年

5 魏苑琦;基于面向?qū)ο蟮木W(wǎng)絡(luò)加密鎖服務(wù)程序的設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2006年

6 馬紅超;基于FPGA的網(wǎng)絡(luò)加密卡研究與設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2013年

7 劉佳;基于網(wǎng)絡(luò)加密卡的密鑰交換及認(rèn)證研究[D];黑龍江大學(xué);2009年

8 王t@森;網(wǎng)絡(luò)加密卡接口程序設(shè)計(jì)[D];黑龍江大學(xué);2008年

9 范春雷;基于混沌算法的網(wǎng)絡(luò)加密機(jī)設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2016年

10 王東紅;基于網(wǎng)絡(luò)加密卡的密鑰交換及認(rèn)證研究[D];東北林業(yè)大學(xué);2012年

本文編號(hào)：2630942