基于SVM的并行網(wǎng)絡(luò)流量分類方法
本文選題:網(wǎng)絡(luò)流量分類 + 支持向量機(jī)。 參考:《計(jì)算機(jī)工程與設(shè)計(jì)》2013年08期
【摘要】:針對(duì)SVM(support vector machine)算法應(yīng)用到大規(guī)模網(wǎng)絡(luò)流量分類中存在計(jì)算復(fù)雜度高、訓(xùn)練速度慢等問題,提出一種基于云計(jì)算平臺(tái)進(jìn)行并行網(wǎng)絡(luò)流量分類的SVM方法,以提高對(duì)大數(shù)據(jù)集的分類訓(xùn)練速度。該方法是一種采用云計(jì)算平臺(tái)構(gòu)建多級(jí)SVM和映射規(guī)約(MapReduce)模型的方法。它將訓(xùn)練數(shù)據(jù)集劃分為多個(gè)子訓(xùn)練數(shù)據(jù)集,通過對(duì)所有子訓(xùn)練數(shù)據(jù)集進(jìn)行并行訓(xùn)練,得到支持向量集,進(jìn)而訓(xùn)練出流量分類模型。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的SVM方法相比,并行SVM網(wǎng)絡(luò)流量分類方法在保持較高分類精度的前提下,有效地減少了訓(xùn)練時(shí)間,提高了大規(guī)模網(wǎng)絡(luò)流量分類的速度。
[Abstract]:Aiming at the problems of high computational complexity and slow training speed in the application of SVM(support vector machine algorithm to large-scale network traffic classification, a SVM method for parallel network traffic classification based on cloud computing platform is proposed.In order to improve the classification of big data set training speed.This method is based on cloud computing platform to construct multilevel SVM and map reduction model.The training data set is divided into several sub-training data sets, and the support vector set is obtained by training all the sub-training data sets in parallel, and then the traffic classification model is trained.The experimental results show that compared with the traditional SVM method, the parallel SVM network traffic classification method can effectively reduce the training time and improve the speed of large-scale network traffic classification on the premise of maintaining higher classification accuracy.
【作者單位】: 桂林電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;桂林電子科技大學(xué)信息與通信學(xué)院;
【基金】:國家自然科學(xué)基金項(xiàng)目(61163058) 廣西自然科學(xué)基金項(xiàng)目(2011GXNSFB018076)
【分類號(hào)】:TP393.06
【參考文獻(xiàn)】
相關(guān)期刊論文 前6條
1 邱婧;夏靖波;柏駿;;基于SVM決策樹的網(wǎng)絡(luò)流量分類[J];電光與控制;2012年06期
2 徐鵬;劉瓊;林森;;基于支持向量機(jī)的Internet流量分類研究[J];計(jì)算機(jī)研究與發(fā)展;2009年03期
3 劉瓊;劉珍;黃敏;;基于機(jī)器學(xué)習(xí)的IP流量分類研究[J];計(jì)算機(jī)科學(xué);2010年12期
4 許孟晉;張博鋒;;基于機(jī)器學(xué)習(xí)的Internet流量分類[J];計(jì)算機(jī)應(yīng)用;2010年S1期
5 彭勃;;網(wǎng)絡(luò)流量分類算法比較研究[J];計(jì)算機(jī)與數(shù)字工程;2012年05期
6 王濤;程良倫;;基于快速SVM的大規(guī)模網(wǎng)絡(luò)流量分類方法[J];計(jì)算機(jī)應(yīng)用研究;2012年06期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 邱婧;夏靖波;柏駿;;基于SVM決策樹的網(wǎng)絡(luò)流量分類[J];電光與控制;2012年06期
2 胡婷;王勇;陶曉玲;;網(wǎng)絡(luò)流量分類方法的比較研究[J];桂林電子科技大學(xué)學(xué)報(bào);2010年03期
3 李平紅;王勇;陶曉玲;;基于成對(duì)約束擴(kuò)展的半監(jiān)督網(wǎng)絡(luò)流量特征選擇算法[J];傳感器與微系統(tǒng);2013年05期
4 胡清桂;;一種新的8線制10/100M自適應(yīng)網(wǎng)卡設(shè)計(jì)[J];江南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期
5 劉瓊;劉珍;黃敏;;基于機(jī)器學(xué)習(xí)的IP流量分類研究[J];計(jì)算機(jī)科學(xué);2010年12期
6 劉三民;孫知信;劉余霞;;基于決策樹集成的P2P流量識(shí)別研究[J];計(jì)算機(jī)科學(xué);2011年11期
7 陳偉;胡磊;楊龍;;基于載荷特征的加密流量快速識(shí)別方法[J];計(jì)算機(jī)工程;2012年12期
8 胡婷;王勇;陶曉玲;;混合模式的網(wǎng)絡(luò)流量分類方法[J];計(jì)算機(jī)應(yīng)用;2010年10期
9 許孟晉;張博鋒;;基于機(jī)器學(xué)習(xí)的Internet流量分類[J];計(jì)算機(jī)應(yīng)用;2010年S1期
10 李麟青;楊哲;朱艷琴;;一種混合式BitTorrent流量檢測(cè)方法[J];計(jì)算機(jī)應(yīng)用;2011年12期
相關(guān)博士學(xué)位論文 前2條
1 王娟;大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)感知關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2010年
2 蔣紅艷;基于流量監(jiān)控的網(wǎng)絡(luò)性能優(yōu)化關(guān)鍵技術(shù)研究[D];湖南大學(xué);2010年
相關(guān)碩士學(xué)位論文 前10條
1 邱婷婷;基于特征進(jìn)程和數(shù)據(jù)挖掘的P2P流量識(shí)別技術(shù)[D];西安電子科技大學(xué);2011年
2 李響;基于半監(jiān)督支持向量機(jī)的網(wǎng)絡(luò)流量分類機(jī)制的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年
3 劉冠宇;基于FCM算法的P2P流量分類研究[D];哈爾濱工業(yè)大學(xué);2010年
4 梁敏;基于統(tǒng)計(jì)行為的P2P文件共享加密流量識(shí)別技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2011年
5 張洛什;基于Cavium平臺(tái)的網(wǎng)絡(luò)流分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱理工大學(xué);2011年
6 劉長(zhǎng)恒;基于SVM的P2P數(shù)據(jù)流檢測(cè)技術(shù)的研究[D];哈爾濱工程大學(xué);2011年
7 袁超越;情感組塊與機(jī)器學(xué)習(xí)相結(jié)合的文本傾向性分析[D];哈爾濱工程大學(xué);2011年
8 朱超;P2P流量識(shí)別方法研究[D];大連理工大學(xué);2011年
9 朱欣;基于數(shù)據(jù)流挖掘技術(shù)的流量識(shí)別[D];蘇州大學(xué);2011年
10 儲(chǔ)慧琳;基于機(jī)器學(xué)習(xí)的P2P流量識(shí)別技術(shù)研究[D];解放軍信息工程大學(xué);2011年
【二級(jí)參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 徐鵬;劉瓊;林森;;改進(jìn)的對(duì)等網(wǎng)絡(luò)流量傳輸層識(shí)別方法[J];計(jì)算機(jī)研究與發(fā)展;2008年05期
2 徐鵬;劉瓊;林森;;基于支持向量機(jī)的Internet流量分類研究[J];計(jì)算機(jī)研究與發(fā)展;2009年03期
3 夏思宇;潘泓;金立左;;非平衡二叉樹多類支持向量機(jī)分類方法[J];計(jì)算機(jī)工程與應(yīng)用;2009年17期
4 王娟,慈林林,姚康澤;特征選擇方法綜述[J];計(jì)算機(jī)工程與科學(xué);2005年12期
5 韓家新,何華燦;SVMDT分類器及其在文本分類中的應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用研究;2004年01期
6 林森;徐鵬;劉瓊;;基于支持向量機(jī)的流量分類方法[J];計(jì)算機(jī)應(yīng)用研究;2008年08期
7 張學(xué)工;關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J];自動(dòng)化學(xué)報(bào);2000年01期
8 蘇金樹;張博鋒;徐昕;;基于機(jī)器學(xué)習(xí)的文本分類技術(shù)研究進(jìn)展[J];軟件學(xué)報(bào);2006年09期
9 劉瓊;徐鵬;楊海濤;彭蕓;;Peer-to-Peer文件共享系統(tǒng)的測(cè)量研究[J];軟件學(xué)報(bào);2006年10期
10 徐鵬;林森;;基于C4.5決策樹的流量分類方法[J];軟件學(xué)報(bào);2009年10期
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 許偉,曹明翠,羅志祥,吳江東;大容量IP交換機(jī)輸出排隊(duì)模塊的實(shí)現(xiàn)研究[J];華中理工大學(xué)學(xué)報(bào);2000年11期
2 岳光來,楊耀忠,韓子臣,戴濤,劉青昆;局域網(wǎng)分布式并行計(jì)算環(huán)境的建立及應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2002年04期
3 陳駿,楊明福;基于Trie結(jié)構(gòu)的并行多維數(shù)據(jù)包分類[J];計(jì)算機(jī)應(yīng)用與軟件;2003年11期
4 饒鮮,董春曦,楊紹全;應(yīng)用支持向量機(jī)實(shí)現(xiàn)計(jì)算機(jī)入侵檢測(cè)[J];西安電子科技大學(xué)學(xué)報(bào);2003年03期
5 吳靜,周建國,晏蒲柳;支持向量機(jī)在網(wǎng)絡(luò)故障診斷中的應(yīng)用研究[J];計(jì)算機(jī)工程;2004年22期
6 李昆侖,黃厚寬,田盛豐,劉振鵬,劉志強(qiáng);模糊多類支持向量機(jī)及其在入侵檢測(cè)中的應(yīng)用[J];計(jì)算機(jī)學(xué)報(bào);2005年02期
7 程翔;江伴東;李毅成;;基于模糊MARS的入侵檢測(cè)系統(tǒng)[J];信息工程大學(xué)學(xué)報(bào);2008年03期
8 吳敏;王汝傳;王治平;;基于支持向量機(jī)的P2P網(wǎng)絡(luò)DoS攻擊檢測(cè)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年11期
9 秦玉平;耿姝;孫宗寶;;基于C-SVM和KPCA的垃圾郵件檢測(cè)研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期
10 王強(qiáng);賈銀山;;支持向量機(jī)及其在郵件過濾中的應(yīng)用[J];微處理機(jī);2010年03期
相關(guān)會(huì)議論文 前10條
1 劉李男;楊岳湘;唐川;;一種基于熵優(yōu)化支持向量機(jī)的P2P流量檢測(cè)方法[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學(xué)術(shù)會(huì)議論文集(下)[C];2008年
2 賀濤;曹先彬;;基于SVM的無線De-authentication攻擊檢測(cè)[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年
3 張滿懷;;兩類基于異常的網(wǎng)絡(luò)入侵檢測(cè)方法的比較[A];2007中國科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年
4 楊業(yè);王永驥;;基于Internet的網(wǎng)絡(luò)控制延時(shí)分析及預(yù)測(cè)[A];第二十三屆中國控制會(huì)議論文集(上冊(cè))[C];2004年
5 謝毅;張俊靈;王瑩;胡翠林;;一種基于SVM的信息安全入侵檢測(cè)模型[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年
6 張家超;孔媛媛;;結(jié)合SVM與免疫遺傳算法設(shè)計(jì)IDS的檢測(cè)算法[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年
7 劉曉勇;;基于GA與SVM融合的網(wǎng)頁分類算法[A];中國運(yùn)籌學(xué)會(huì)模糊信息與模糊工程分會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2010年
8 張小強(qiáng);朱中梁;范平志;;基于SVM和序列互相關(guān)特性的入侵檢測(cè)[A];可持續(xù)發(fā)展的中國交通——2005全國博士生學(xué)術(shù)論壇(交通運(yùn)輸工程學(xué)科)論文集(下冊(cè))[C];2005年
9 張紅梅;;基于粗糙集特征約簡(jiǎn)的SVM集成入侵檢測(cè)模型[A];2009中國控制與決策會(huì)議論文集(3)[C];2009年
10 陳琳;黃杰;龔正虎;;一種基于支持向量機(jī)的抗噪聲郵件分類方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2004年
相關(guān)博士學(xué)位論文 前10條
1 董春曦;支持向量機(jī)及其在入侵檢測(cè)中的應(yīng)用研究[D];西安電子科技大學(xué);2004年
2 賈銀山;支持向量機(jī)算法及其在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用[D];大連海事大學(xué);2004年
3 李戰(zhàn)春;入侵檢測(cè)中的機(jī)器學(xué)習(xí)方法及其應(yīng)用研究[D];華中科技大學(xué);2007年
4 段丹青;入侵檢測(cè)算法及關(guān)鍵技術(shù)研究[D];中南大學(xué);2007年
5 李千目;戰(zhàn)略互聯(lián)網(wǎng)故障智能診斷策略研究[D];南京理工大學(xué);2005年
6 饒鮮;入侵檢測(cè)信道模型研究[D];西安電子科技大學(xué);2006年
7 鄭洪英;基于進(jìn)化算法的入侵檢測(cè)技術(shù)研究[D];重慶大學(xué);2007年
8 魏宇欣;網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2008年
9 劉震;垃圾郵件過濾理論和關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2008年
10 柳斌;P2P流的測(cè)量與識(shí)別方法研究[D];華中科技大學(xué);2008年
相關(guān)碩士學(xué)位論文 前10條
1 張寶華;支持向量機(jī)在入侵檢測(cè)系統(tǒng)中的研究和應(yīng)用[D];天津理工大學(xué);2010年
2 徐華;基于支持向量機(jī)的Web文本挖掘研究[D];哈爾濱工程大學(xué);2004年
3 葉春;局域支持向量機(jī)的改進(jìn)及其在網(wǎng)絡(luò)流量預(yù)測(cè)中的應(yīng)用[D];西華大學(xué);2010年
4 李佳;基于粒子群優(yōu)化支持向量機(jī)的異常入侵檢測(cè)研究[D];中南林業(yè)科技大學(xué);2009年
5 楊翔宇;SVM在Web文本挖掘中的應(yīng)用與研究[D];哈爾濱工程大學(xué);2005年
6 朱杰;支持向量機(jī)在入侵檢測(cè)中的應(yīng)用[D];西安電子科技大學(xué);2008年
7 肖明;基于SVM的智能郵件過濾系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2005年
8 楊麗華;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];西南交通大學(xué);2006年
9 王娟;基于粗糙集與支持向量機(jī)的Web文本分類[D];廈門大學(xué);2008年
10 張峰;基于支持向量機(jī)的網(wǎng)站發(fā)布系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2010年
,本文編號(hào):1756927
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1756927.html