基于SVM的并行網(wǎng)絡流量分類方法
本文選題:網(wǎng)絡流量分類 + 支持向量機 ; 參考:《計算機工程與設(shè)計》2013年08期
【摘要】:針對SVM(support vector machine)算法應用到大規(guī)模網(wǎng)絡流量分類中存在計算復雜度高、訓練速度慢等問題,提出一種基于云計算平臺進行并行網(wǎng)絡流量分類的SVM方法,以提高對大數(shù)據(jù)集的分類訓練速度。該方法是一種采用云計算平臺構(gòu)建多級SVM和映射規(guī)約(MapReduce)模型的方法。它將訓練數(shù)據(jù)集劃分為多個子訓練數(shù)據(jù)集,通過對所有子訓練數(shù)據(jù)集進行并行訓練,得到支持向量集,進而訓練出流量分類模型。實驗結(jié)果表明,與傳統(tǒng)的SVM方法相比,并行SVM網(wǎng)絡流量分類方法在保持較高分類精度的前提下,有效地減少了訓練時間,提高了大規(guī)模網(wǎng)絡流量分類的速度。
[Abstract]:Aiming at the problems of high computational complexity and slow training speed in the application of SVM(support vector machine algorithm to large-scale network traffic classification, a SVM method for parallel network traffic classification based on cloud computing platform is proposed.In order to improve the classification of big data set training speed.This method is based on cloud computing platform to construct multilevel SVM and map reduction model.The training data set is divided into several sub-training data sets, and the support vector set is obtained by training all the sub-training data sets in parallel, and then the traffic classification model is trained.The experimental results show that compared with the traditional SVM method, the parallel SVM network traffic classification method can effectively reduce the training time and improve the speed of large-scale network traffic classification on the premise of maintaining higher classification accuracy.
【作者單位】: 桂林電子科技大學計算機科學與工程學院;桂林電子科技大學信息與通信學院;
【基金】:國家自然科學基金項目(61163058) 廣西自然科學基金項目(2011GXNSFB018076)
【分類號】:TP393.06
【參考文獻】
相關(guān)期刊論文 前6條
1 邱婧;夏靖波;柏駿;;基于SVM決策樹的網(wǎng)絡流量分類[J];電光與控制;2012年06期
2 徐鵬;劉瓊;林森;;基于支持向量機的Internet流量分類研究[J];計算機研究與發(fā)展;2009年03期
3 劉瓊;劉珍;黃敏;;基于機器學習的IP流量分類研究[J];計算機科學;2010年12期
4 許孟晉;張博鋒;;基于機器學習的Internet流量分類[J];計算機應用;2010年S1期
5 彭勃;;網(wǎng)絡流量分類算法比較研究[J];計算機與數(shù)字工程;2012年05期
6 王濤;程良倫;;基于快速SVM的大規(guī)模網(wǎng)絡流量分類方法[J];計算機應用研究;2012年06期
【共引文獻】
相關(guān)期刊論文 前10條
1 邱婧;夏靖波;柏駿;;基于SVM決策樹的網(wǎng)絡流量分類[J];電光與控制;2012年06期
2 胡婷;王勇;陶曉玲;;網(wǎng)絡流量分類方法的比較研究[J];桂林電子科技大學學報;2010年03期
3 李平紅;王勇;陶曉玲;;基于成對約束擴展的半監(jiān)督網(wǎng)絡流量特征選擇算法[J];傳感器與微系統(tǒng);2013年05期
4 胡清桂;;一種新的8線制10/100M自適應網(wǎng)卡設(shè)計[J];江南大學學報(自然科學版);2011年02期
5 劉瓊;劉珍;黃敏;;基于機器學習的IP流量分類研究[J];計算機科學;2010年12期
6 劉三民;孫知信;劉余霞;;基于決策樹集成的P2P流量識別研究[J];計算機科學;2011年11期
7 陳偉;胡磊;楊龍;;基于載荷特征的加密流量快速識別方法[J];計算機工程;2012年12期
8 胡婷;王勇;陶曉玲;;混合模式的網(wǎng)絡流量分類方法[J];計算機應用;2010年10期
9 許孟晉;張博鋒;;基于機器學習的Internet流量分類[J];計算機應用;2010年S1期
10 李麟青;楊哲;朱艷琴;;一種混合式BitTorrent流量檢測方法[J];計算機應用;2011年12期
相關(guān)博士學位論文 前2條
1 王娟;大規(guī)模網(wǎng)絡安全態(tài)勢感知關(guān)鍵技術(shù)研究[D];電子科技大學;2010年
2 蔣紅艷;基于流量監(jiān)控的網(wǎng)絡性能優(yōu)化關(guān)鍵技術(shù)研究[D];湖南大學;2010年
相關(guān)碩士學位論文 前10條
1 邱婷婷;基于特征進程和數(shù)據(jù)挖掘的P2P流量識別技術(shù)[D];西安電子科技大學;2011年
2 李響;基于半監(jiān)督支持向量機的網(wǎng)絡流量分類機制的研究與實現(xiàn)[D];北京郵電大學;2011年
3 劉冠宇;基于FCM算法的P2P流量分類研究[D];哈爾濱工業(yè)大學;2010年
4 梁敏;基于統(tǒng)計行為的P2P文件共享加密流量識別技術(shù)的研究[D];哈爾濱工業(yè)大學;2011年
5 張洛什;基于Cavium平臺的網(wǎng)絡流分類系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱理工大學;2011年
6 劉長恒;基于SVM的P2P數(shù)據(jù)流檢測技術(shù)的研究[D];哈爾濱工程大學;2011年
7 袁超越;情感組塊與機器學習相結(jié)合的文本傾向性分析[D];哈爾濱工程大學;2011年
8 朱超;P2P流量識別方法研究[D];大連理工大學;2011年
9 朱欣;基于數(shù)據(jù)流挖掘技術(shù)的流量識別[D];蘇州大學;2011年
10 儲慧琳;基于機器學習的P2P流量識別技術(shù)研究[D];解放軍信息工程大學;2011年
【二級參考文獻】
相關(guān)期刊論文 前10條
1 徐鵬;劉瓊;林森;;改進的對等網(wǎng)絡流量傳輸層識別方法[J];計算機研究與發(fā)展;2008年05期
2 徐鵬;劉瓊;林森;;基于支持向量機的Internet流量分類研究[J];計算機研究與發(fā)展;2009年03期
3 夏思宇;潘泓;金立左;;非平衡二叉樹多類支持向量機分類方法[J];計算機工程與應用;2009年17期
4 王娟,慈林林,姚康澤;特征選擇方法綜述[J];計算機工程與科學;2005年12期
5 韓家新,何華燦;SVMDT分類器及其在文本分類中的應用研究[J];計算機應用研究;2004年01期
6 林森;徐鵬;劉瓊;;基于支持向量機的流量分類方法[J];計算機應用研究;2008年08期
7 張學工;關(guān)于統(tǒng)計學習理論與支持向量機[J];自動化學報;2000年01期
8 蘇金樹;張博鋒;徐昕;;基于機器學習的文本分類技術(shù)研究進展[J];軟件學報;2006年09期
9 劉瓊;徐鵬;楊海濤;彭蕓;;Peer-to-Peer文件共享系統(tǒng)的測量研究[J];軟件學報;2006年10期
10 徐鵬;林森;;基于C4.5決策樹的流量分類方法[J];軟件學報;2009年10期
【相似文獻】
相關(guān)期刊論文 前10條
1 許偉,曹明翠,羅志祥,吳江東;大容量IP交換機輸出排隊模塊的實現(xiàn)研究[J];華中理工大學學報;2000年11期
2 岳光來,楊耀忠,韓子臣,戴濤,劉青昆;局域網(wǎng)分布式并行計算環(huán)境的建立及應用[J];計算機工程與應用;2002年04期
3 陳駿,楊明福;基于Trie結(jié)構(gòu)的并行多維數(shù)據(jù)包分類[J];計算機應用與軟件;2003年11期
4 饒鮮,董春曦,楊紹全;應用支持向量機實現(xiàn)計算機入侵檢測[J];西安電子科技大學學報;2003年03期
5 吳靜,周建國,晏蒲柳;支持向量機在網(wǎng)絡故障診斷中的應用研究[J];計算機工程;2004年22期
6 李昆侖,黃厚寬,田盛豐,劉振鵬,劉志強;模糊多類支持向量機及其在入侵檢測中的應用[J];計算機學報;2005年02期
7 程翔;江伴東;李毅成;;基于模糊MARS的入侵檢測系統(tǒng)[J];信息工程大學學報;2008年03期
8 吳敏;王汝傳;王治平;;基于支持向量機的P2P網(wǎng)絡DoS攻擊檢測[J];計算機技術(shù)與發(fā)展;2009年11期
9 秦玉平;耿姝;孫宗寶;;基于C-SVM和KPCA的垃圾郵件檢測研究[J];計算機工程與應用;2010年19期
10 王強;賈銀山;;支持向量機及其在郵件過濾中的應用[J];微處理機;2010年03期
相關(guān)會議論文 前10條
1 劉李男;楊岳湘;唐川;;一種基于熵優(yōu)化支持向量機的P2P流量檢測方法[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學術(shù)會議論文集(下)[C];2008年
2 賀濤;曹先彬;;基于SVM的無線De-authentication攻擊檢測[A];第三屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2007年
3 張滿懷;;兩類基于異常的網(wǎng)絡入侵檢測方法的比較[A];2007中國科協(xié)年會——通信與信息發(fā)展高層論壇論文集[C];2007年
4 楊業(yè);王永驥;;基于Internet的網(wǎng)絡控制延時分析及預測[A];第二十三屆中國控制會議論文集(上冊)[C];2004年
5 謝毅;張俊靈;王瑩;胡翠林;;一種基于SVM的信息安全入侵檢測模型[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學術(shù)會議論文集(上冊)[C];2007年
6 張家超;孔媛媛;;結(jié)合SVM與免疫遺傳算法設(shè)計IDS的檢測算法[A];2008年全國開放式分布與并行計算機學術(shù)會議論文集(下冊)[C];2008年
7 劉曉勇;;基于GA與SVM融合的網(wǎng)頁分類算法[A];中國運籌學會模糊信息與模糊工程分會第五屆學術(shù)年會論文集[C];2010年
8 張小強;朱中梁;范平志;;基于SVM和序列互相關(guān)特性的入侵檢測[A];可持續(xù)發(fā)展的中國交通——2005全國博士生學術(shù)論壇(交通運輸工程學科)論文集(下冊)[C];2005年
9 張紅梅;;基于粗糙集特征約簡的SVM集成入侵檢測模型[A];2009中國控制與決策會議論文集(3)[C];2009年
10 陳琳;黃杰;龔正虎;;一種基于支持向量機的抗噪聲郵件分類方法[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集(技術(shù)報告篇)[C];2004年
相關(guān)博士學位論文 前10條
1 董春曦;支持向量機及其在入侵檢測中的應用研究[D];西安電子科技大學;2004年
2 賈銀山;支持向量機算法及其在網(wǎng)絡入侵檢測中的應用[D];大連海事大學;2004年
3 李戰(zhàn)春;入侵檢測中的機器學習方法及其應用研究[D];華中科技大學;2007年
4 段丹青;入侵檢測算法及關(guān)鍵技術(shù)研究[D];中南大學;2007年
5 李千目;戰(zhàn)略互聯(lián)網(wǎng)故障智能診斷策略研究[D];南京理工大學;2005年
6 饒鮮;入侵檢測信道模型研究[D];西安電子科技大學;2006年
7 鄭洪英;基于進化算法的入侵檢測技術(shù)研究[D];重慶大學;2007年
8 魏宇欣;網(wǎng)絡入侵檢測系統(tǒng)關(guān)鍵技術(shù)研究[D];北京郵電大學;2008年
9 劉震;垃圾郵件過濾理論和關(guān)鍵技術(shù)研究[D];電子科技大學;2008年
10 柳斌;P2P流的測量與識別方法研究[D];華中科技大學;2008年
相關(guān)碩士學位論文 前10條
1 張寶華;支持向量機在入侵檢測系統(tǒng)中的研究和應用[D];天津理工大學;2010年
2 徐華;基于支持向量機的Web文本挖掘研究[D];哈爾濱工程大學;2004年
3 葉春;局域支持向量機的改進及其在網(wǎng)絡流量預測中的應用[D];西華大學;2010年
4 李佳;基于粒子群優(yōu)化支持向量機的異常入侵檢測研究[D];中南林業(yè)科技大學;2009年
5 楊翔宇;SVM在Web文本挖掘中的應用與研究[D];哈爾濱工程大學;2005年
6 朱杰;支持向量機在入侵檢測中的應用[D];西安電子科技大學;2008年
7 肖明;基于SVM的智能郵件過濾系統(tǒng)研究與實現(xiàn)[D];電子科技大學;2005年
8 楊麗華;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];西南交通大學;2006年
9 王娟;基于粗糙集與支持向量機的Web文本分類[D];廈門大學;2008年
10 張峰;基于支持向量機的網(wǎng)站發(fā)布系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學;2010年
,本文編號:1756927
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1756927.html