本文關(guān)鍵詞：基于Hadoop的網(wǎng)絡(luò)分流和流特征計(jì)算

  更多相關(guān)文章： MapReduce 網(wǎng)絡(luò)分流 特征 并行計(jì)算

【摘要】：網(wǎng)絡(luò)流量特征計(jì)算是網(wǎng)絡(luò)流量分析的一個(gè)重要步驟,對(duì)于海量網(wǎng)絡(luò)流量數(shù)據(jù),并行化計(jì)算網(wǎng)絡(luò)流量特征是高效網(wǎng)絡(luò)流量分析的重要方法。針對(duì)傳統(tǒng)單機(jī)處理成本高、可擴(kuò)展性差的問(wèn)題,提出一種基于Map Reduce編程模型的網(wǎng)絡(luò)流量分析方法,并行實(shí)現(xiàn)網(wǎng)絡(luò)分流和流量特征計(jì)算。通過(guò)使用Hadoop平臺(tái)對(duì)實(shí)際數(shù)據(jù)進(jìn)行分析,統(tǒng)計(jì)常用網(wǎng)絡(luò)流量屬性特征,實(shí)驗(yàn)表明,該方法分析網(wǎng)絡(luò)流量特征的結(jié)果準(zhǔn)確可信,且適合分析大流量數(shù)據(jù)。
【作者單位】： 重慶市高校通信網(wǎng)測(cè)試技術(shù)工程研究中心;重慶郵電大學(xué)通信與信息工程學(xué)院;重慶郵電大學(xué)電子信息與網(wǎng)絡(luò)工程研究院;
【基金】：重慶市應(yīng)用開(kāi)發(fā)計(jì)劃基金資助項(xiàng)目(No.cstc2013yykf A40006)
【分類(lèi)號(hào)】：TP393.06
【正文快照】： 1引言隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)流量分析在諸多方面得到了應(yīng)用,利用網(wǎng)絡(luò)流量特征信息可統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)荷、檢測(cè)通信質(zhì)量、預(yù)測(cè)網(wǎng)絡(luò)流量以及分類(lèi)網(wǎng)絡(luò)流量等,網(wǎng)絡(luò)流量分析是準(zhǔn)確檢測(cè)管理和控制網(wǎng)絡(luò)的基礎(chǔ)。參考文獻(xiàn)[1]表明,基于數(shù)據(jù)流和抽樣方法是流量測(cè)量中的主要方法,其中抽樣方法雖

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 李明;葉繼華;李建蓮;楊慶紅;丁樹(shù)良;;基于Hash聚合的網(wǎng)絡(luò)流量管理研究[J];江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

2 楊新宇;楊樹(shù)森;李娟;;基于非線性預(yù)處理網(wǎng)絡(luò)流量預(yù)測(cè)方法的泛洪型DDoS攻擊檢測(cè)算法[J];計(jì)算機(jī)學(xué)報(bào);2011年02期

3 何高峰;楊明;羅軍舟;張璐;;Tor匿名通信流量在線識(shí)別方法[J];軟件學(xué)報(bào);2013年03期

4 周愛(ài)平;程光;郭曉軍;;高速網(wǎng)絡(luò)流量測(cè)量方法[J];軟件學(xué)報(bào);2014年01期

5 QIAO Yuan-yuan;LEI Zhen-ming;YUAN Lun;GUO Min-jie;;Offline traffic analysis system based on Hadoop[J];The Journal of China Universities of Posts and Telecommunications;2013年05期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王玨;;重疊型P2P網(wǎng)絡(luò)中的查詢(xún)負(fù)載均衡策略研究[J];江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年03期

2 李秉桓;董永吉;;一種NetFIow流量采集探測(cè)器的設(shè)計(jì)[J];計(jì)算機(jī)安全;2012年02期

3 李振國(guó);鄭惠中;;網(wǎng)絡(luò)流量采集方法研究綜述[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2014年01期

4 謝柏林;蔣盛益;張倩生;;基于請(qǐng)求關(guān)鍵詞的應(yīng)用層DDoS攻擊檢測(cè)方法[J];計(jì)算機(jī)科學(xué);2013年07期

5 馮瑋;葉繼華;程艷;;一種改進(jìn)的數(shù)據(jù)包丟棄概率計(jì)算方法PRED[J];計(jì)算機(jī)工程與應(yīng)用;2013年16期

6 李雙;;一種安全的具有匿名性的可搜索加密方案[J];計(jì)算機(jī)工程與應(yīng)用;2013年16期

7 李春林;黃月江;牛長(zhǎng)喜;;一種面向云計(jì)算的網(wǎng)絡(luò)異常流量分組方法[J];計(jì)算機(jī)應(yīng)用研究;2014年12期

8 謝麗霞;代其魁;楊宏宇;;一種基于多元異常分析的網(wǎng)絡(luò)自主防護(hù)機(jī)制[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2011年10期

9 張祖蓮;王命全;李景林;顧雅文;;一種自定義動(dòng)態(tài)密鑰預(yù)防DDoS攻擊的算法[J];微型機(jī)與應(yīng)用;2013年20期

10 姜開(kāi)達(dá);李霄;孫強(qiáng);;基于網(wǎng)絡(luò)流量元數(shù)據(jù)的安全大數(shù)據(jù)分析[J];信息網(wǎng)絡(luò)安全;2014年05期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前8條

1 唐湘滟;網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估系統(tǒng)的研究與實(shí)現(xiàn)[D];湖南農(nóng)業(yè)大學(xué);2011年

2 文政;基于混沌—支持向量機(jī)理論的網(wǎng)絡(luò)流量預(yù)測(cè)[D];鄭州大學(xué);2012年

3 孫志磊;網(wǎng)絡(luò)攻擊源追蹤技術(shù)研究[D];浙江工業(yè)大學(xué);2012年

4 黃宸;Web服務(wù)DDoS攻擊的防御技術(shù)研究[D];北京郵電大學(xué);2013年

5 李秀龍;基于網(wǎng)絡(luò)流量監(jiān)測(cè)與預(yù)測(cè)的用戶(hù)流量行為分析方法研究[D];北京工業(yè)大學(xué);2013年

6 高瞻;基于NetFlow技術(shù)的網(wǎng)絡(luò)流量測(cè)量與分析[D];廣西大學(xué);2012年

7 陳榮茂;復(fù)雜網(wǎng)絡(luò)威脅建模與檢測(cè)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

8 詹煜;基于行為自相似分析的DDoS攻擊檢測(cè)與追蹤[D];中南大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 馮為華;舒如天;;基于校園網(wǎng)的分布式管理信息系統(tǒng)的研究[J];江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

2 謝鳳成;;下一代遠(yuǎn)程網(wǎng)絡(luò)配置管理系統(tǒng)的研究與實(shí)現(xiàn)[J];江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年03期

3 葉繼華;馬麗紅;羅賢海;;基于電力線載波的遠(yuǎn)程教育系統(tǒng)構(gòu)建與應(yīng)用[J];中國(guó)遠(yuǎn)程教育;2006年04期

4 李金明;王汝傳;;基于VTP方法的DDoS攻擊實(shí)時(shí)檢測(cè)技術(shù)研究[J];電子學(xué)報(bào);2007年04期

5 王洪波;程時(shí)端;林宇;;高速網(wǎng)絡(luò)超連接主機(jī)檢測(cè)中的流抽樣算法研究[J];電子學(xué)報(bào);2008年04期

6 程光;龔儉;丁偉;吳樺;強(qiáng)士卿;;基于自適應(yīng)抽樣的超點(diǎn)檢測(cè)算法[J];中國(guó)科學(xué)(E輯:信息科學(xué));2008年10期

7 ;Identifying heavy hitters in high-speed network monitoring[J];Science China(Information Sciences);2010年03期

8 何海濤,羅笑南,郭清順;Netflow在邊界網(wǎng)流量測(cè)量中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年11期

9 張學(xué)工;關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J];自動(dòng)化學(xué)報(bào);2000年01期

10 程光,龔儉,丁偉;基于抽樣測(cè)量的高速網(wǎng)絡(luò)實(shí)時(shí)異常檢測(cè)模型[J];軟件學(xué)報(bào);2003年03期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王宇清;;一個(gè)網(wǎng)絡(luò)流量分析器的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)與信息技術(shù);2005年03期

2 閆軍;;網(wǎng)絡(luò)流量分析解決方案[J];華南金融電腦;2007年03期

3 房亞群;;網(wǎng)絡(luò)流量分析現(xiàn)狀[J];硅谷;2009年23期

4 王宇;;網(wǎng)絡(luò)流量分析技術(shù)及其應(yīng)用[J];科技創(chuàng)業(yè)月刊;2010年03期

5 關(guān)天柱;;網(wǎng)絡(luò)流量分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];信息與電腦(理論版);2010年08期

6 師鳴若;;基于鄰接序列模式挖掘的網(wǎng)絡(luò)流量分析[J];電腦開(kāi)發(fā)與應(yīng)用;2010年10期

7 金紅;李姝寧;云潔;;基于多變的網(wǎng)絡(luò)環(huán)境的網(wǎng)絡(luò)流量分析[J];內(nèi)蒙古科技與經(jīng)濟(jì);2011年16期

8 曹平;;基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)流量分析預(yù)測(cè)系統(tǒng)研究[J];軟件導(dǎo)刊;2012年05期

9 彭勛;;網(wǎng)絡(luò)流量分析預(yù)測(cè)研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2012年09期

10 江萍萍;;網(wǎng)絡(luò)流量分析系統(tǒng)的設(shè)計(jì)研究[J];科技風(fēng);2012年19期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 劉平;王健;;校園網(wǎng)網(wǎng)絡(luò)流量分析與控制[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

2 萬(wàn)里;王明生;沈志勇;林東岱;;基于序貫?zāi)Ｊ酵诰虻暮暧^網(wǎng)絡(luò)流量異常檢測(cè)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（上冊(cè)）[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前5條

1 《網(wǎng)絡(luò)世界》記者 李夏艷;遠(yuǎn)程亦可見(jiàn)[N];網(wǎng)絡(luò)世界;2012年

2 東軟網(wǎng)絡(luò)安全產(chǎn)品營(yíng)銷(xiāo)中心副總經(jīng)理 李青山;流量安全不能霧里看花[N];網(wǎng)絡(luò)世界;2008年

3 路娜;新資本市場(chǎng)下的安全機(jī)遇[N];中國(guó)計(jì)算機(jī)報(bào);2008年

4 《網(wǎng)絡(luò)世界》記者 鹿寧寧;用“新”打造下一代應(yīng)用安全[N];網(wǎng)絡(luò)世界;2014年

5 易水;計(jì)算機(jī)專(zhuān)業(yè)時(shí)文選讀（934）[N];計(jì)算機(jī)世界;2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 高燕;網(wǎng)絡(luò)流量分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];四川大學(xué);2004年

2 劉志遠(yuǎn);網(wǎng)絡(luò)流量分析預(yù)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2011年

3 張瀟曉;網(wǎng)絡(luò)流量分析關(guān)鍵技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

4 閆曉艷;分布式網(wǎng)絡(luò)流量分析系統(tǒng)的研究與實(shí)現(xiàn)[D];山東大學(xué);2014年

5 童行行;基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分析研究[D];清華大學(xué);2005年

6 杜鑫;基于分布特征的網(wǎng)絡(luò)流量分析技術(shù)研究[D];解放軍信息工程大學(xué);2009年

7 張婧;寬帶網(wǎng)絡(luò)流量分析和業(yè)務(wù)重組[D];北京郵電大學(xué);2010年

8 溫源;面向網(wǎng)絡(luò)流量分析的網(wǎng)格系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2008年

9 姜雪梅;網(wǎng)絡(luò)流量分析系統(tǒng)[D];吉林大學(xué);2008年

10 劉鑫;網(wǎng)絡(luò)流量分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2013年

，

本文編號(hào)：1251346