發(fā)布時(shí)間：2017-08-31 16:12

  本文關(guān)鍵詞：高速網(wǎng)絡(luò)流采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： NetFPGA-G 高速網(wǎng)絡(luò)流 分類 采集 正則表達(dá)式匹配引擎 精確串匹配

【摘要】：針對(duì)基于軟件的網(wǎng)絡(luò)流采集系統(tǒng)不能高效處理高速網(wǎng)絡(luò)流量,以及為了提高采集效率需要同時(shí)對(duì)多種網(wǎng)絡(luò)流進(jìn)行采集的問(wèn)題,提出一種基于軟硬件結(jié)合的高速網(wǎng)絡(luò)流采集框架,探討在NetFPGA-10G平臺(tái)實(shí)現(xiàn)高速網(wǎng)絡(luò)流采集系統(tǒng),稱之為HSNTCS。該系統(tǒng)在硬件上通過(guò)精確串匹配引擎或正則表達(dá)式匹配引擎過(guò)濾、分類出所需的多種網(wǎng)絡(luò)流后,將其傳至內(nèi)核驅(qū)動(dòng)層對(duì)應(yīng)的數(shù)據(jù)緩沖區(qū),然后直接拷貝至用戶空間并存儲(chǔ)至對(duì)應(yīng)的數(shù)據(jù)庫(kù)。經(jīng)實(shí)驗(yàn)測(cè)試,在精確串匹配情況下,用硬件方式實(shí)現(xiàn)的高速網(wǎng)絡(luò)流采集系統(tǒng)的用戶數(shù)據(jù)報(bào)協(xié)議(UDP)、傳輸控制協(xié)議(TCP)吞吐率都達(dá)到1.2Gb/s,約是用軟件方式實(shí)現(xiàn)的3倍;在正則表達(dá)式匹配情況下,用硬件方式實(shí)現(xiàn)的高速網(wǎng)絡(luò)流采集系統(tǒng)的UDP、TCP吞吐率都達(dá)到640 Mb/s,約是用軟件方式實(shí)現(xiàn)的3倍。結(jié)果表明,相對(duì)于軟件實(shí)現(xiàn)方式,硬件實(shí)現(xiàn)具有更高的采集性能。
【作者單位】： 長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院;中國(guó)科學(xué)院計(jì)算技術(shù)研究所;中國(guó)科學(xué)院信息工程研究所;
【關(guān)鍵詞】： NetFPGA-G 高速網(wǎng)絡(luò)流 分類 采集 正則表達(dá)式匹配引擎 精確串匹配
【基金】：國(guó)家863計(jì)劃項(xiàng)目(2012AA012502) 中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)基金資助項(xiàng)目(XDA06030602)
【分類號(hào)】：TP393.06
【正文快照】： 0引言在網(wǎng)絡(luò)的研究中,網(wǎng)絡(luò)流的采集是非常重要的。這種技術(shù)可以用于網(wǎng)絡(luò)分析、管理、計(jì)費(fèi)和特定的應(yīng)用[1]。隨著大數(shù)據(jù)時(shí)代的到來(lái)和數(shù)據(jù)挖掘[2]等新技術(shù)的興起,大量的數(shù)據(jù)需要被分類、采集、存儲(chǔ)處理。例如,從網(wǎng)站的訪問(wèn)量進(jìn)行網(wǎng)站排名、用戶行為分析[3]、將數(shù)據(jù)分類建立數(shù)據(jù)

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 趙喜全;劉興奎;邵宗有;劉朝輝;竇曉光;趙曉芳;;基于FPGA的TOE網(wǎng)卡設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2011年03期

2 林金;楊波;;基于NetFPGA的網(wǎng)絡(luò)流量采集器[J];濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年01期

3 張帆;趙光恒;蘇建;;基于IP核的高速數(shù)據(jù)采集存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];微計(jì)算機(jī)信息;2007年29期

4 劉小威;陳蜀宇;盧堯;林銘煒;;零拷貝技術(shù)在網(wǎng)絡(luò)分析工具中的應(yīng)用[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2012年04期

5 王志佳;顧健;;一種改進(jìn)的自動(dòng)機(jī)壓縮算法在深度包檢測(cè)中的應(yīng)用[J];信息網(wǎng)絡(luò)安全;2010年10期

6 鄧凱元;;基于Verilog的正則表達(dá)式編譯器的實(shí)現(xiàn)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2012年02期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前9條

1 王婕;王健;;基于TOE技術(shù)的嵌入式以太網(wǎng)接口設(shè)計(jì)[J];工業(yè)儀表與自動(dòng)化裝置;2011年06期

2 馬納吉;胡驍;楊明極;鄧媛;;單脈沖動(dòng)態(tài)測(cè)量雷達(dá)數(shù)字信號(hào)處理機(jī)的設(shè)計(jì)[J];工業(yè)控制計(jì)算機(jī);2013年05期

3 劉仰川;巴音賀希格;崔繼承;唐玉國(guó);;基于預(yù)測(cè)與JPEG2000的高光譜圖像無(wú)損壓縮方法[J];激光與紅外;2012年04期

4 張墨華;李戈;;基于中間點(diǎn)劃分無(wú)沖突哈希的高速包處理[J];計(jì)算機(jī)應(yīng)用;2012年04期

5 姚銘;應(yīng)福軍;;基于NetFpga的數(shù)據(jù)包發(fā)生器的實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2013年01期

6 王亞;于干;張軍;王浩;;PF_RING與NAPI結(jié)合的捕包性能優(yōu)化和仿真[J];計(jì)算機(jī)工程與應(yīng)用;2013年08期

7 王可可;楊波;孫濤;陳貞翔;;NetFPGA應(yīng)用技術(shù)研究[J];山東科學(xué);2011年05期

8 胡驍;黃默;張志敏;;毫米波跟蹤雷達(dá)信號(hào)處理機(jī)設(shè)計(jì)[J];微計(jì)算機(jī)信息;2009年11期

9 陶常勇;陳興梧;魏永杰;;基于FPGA的激光粒度儀數(shù)據(jù)采集系統(tǒng)[J];微計(jì)算機(jī)信息;2009年14期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 林金;FPGA網(wǎng)絡(luò)開發(fā)平臺(tái)的軟硬件協(xié)同設(shè)計(jì)與驗(yàn)證[D];濟(jì)南大學(xué);2011年

2 左改林;基于USB 2.0協(xié)議的多功能IP核的研究與開發(fā)[D];廣西大學(xué);2008年

3 馬萍;基于PCI Express總線高速數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（空間科學(xué)與應(yīng)用研究中心）;2008年

4 張海青;基于FPGA圖像處理系統(tǒng)的關(guān)鍵算法研究及硬件實(shí)現(xiàn)[D];重慶大學(xué);2010年

5 張營(yíng)磊;USB接口軟IP CORE代碼設(shè)計(jì)及驗(yàn)證[D];電子科技大學(xué);2012年

6 李舒;基于Linux多核平臺(tái)的高性能報(bào)文采集系統(tǒng)的研究與設(shè)計(jì)[D];北京郵電大學(xué);2013年

7 夏浩延;基于NetFPGA的以太網(wǎng)列車骨干網(wǎng)列車拓?fù)浒l(fā)現(xiàn)協(xié)議研究與仿真[D];西南交通大學(xué);2013年

8 周召均;基于NetFPGA的列車以太骨干網(wǎng)絡(luò)底層硬件平臺(tái)的研究與設(shè)計(jì)[D];西南交通大學(xué);2013年

9 張斌;Linux平臺(tái)下高速網(wǎng)絡(luò)數(shù)據(jù)捕獲的研究與應(yīng)用[D];華北電力大學(xué);2013年

10 牛曉軍;基于PCI Express總線高速數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)[D];重慶大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 任宏;關(guān)于TOE技術(shù)的發(fā)展及概況的研究[J];紅外;2005年03期

2 王圣;蘇金樹;;基于硬件的亂序報(bào)文重組算法[J];計(jì)算機(jī)工程;2008年22期

3 王佰玲,方濱興,云曉春;零拷貝報(bào)文捕獲平臺(tái)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)學(xué)報(bào);2005年01期

4 徐乾;鄂躍鵬;葛敬國(guó);錢華林;;深度包檢測(cè)中一種高效的正則表達(dá)式壓縮算法[J];軟件學(xué)報(bào);2009年08期

5 笱程成;趙榮彩;邰銘;張錚;南煜;;高負(fù)載網(wǎng)絡(luò)下線速包捕獲接口的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年10期

6 裴喜龍;童莉;;基于PCI總線的高速數(shù)據(jù)采集卡系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2006年19期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 衛(wèi)俊平,陳明宇,余智華,郭莉;高速網(wǎng)絡(luò)流產(chǎn)生系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2003年06期

2 武佳寧;;基于序列特征的網(wǎng)絡(luò)流分類方法研究[J];電子設(shè)計(jì)工程;2013年23期

3 張峰,雷振明;高速網(wǎng)絡(luò)流測(cè)量及模型研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年17期

4 阿呆;;Netronome:為亞太區(qū)量身定制解決方案[J];通訊世界;2011年04期

5 龍熙華;韓大中;;線性多商品網(wǎng)絡(luò)流算法與多煤種調(diào)運(yùn)優(yōu)化[J];西安礦業(yè)學(xué)院學(xué)報(bào);1987年03期

6 孫旺弟,徐和杰;網(wǎng)絡(luò)流理論在配水系統(tǒng)壓力優(yōu)化計(jì)算中的應(yīng)用[J];鎮(zhèn)江船舶學(xué)院學(xué)報(bào);1990年03期

7 高峰修,黃根勛,張利民;基于網(wǎng)絡(luò)流上的秘密共享體制[J];通信技術(shù);2002年04期

8 葉麟;張宏莉;何慧;;基于主成分分析的網(wǎng)絡(luò)流相關(guān)性研究[J];計(jì)算機(jī)工程;2007年12期

9 季海波,楊蓓,沈廉;關(guān)于二元網(wǎng)絡(luò)流算法的一個(gè)推廣[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);1998年03期

10 王可定，封樹標(biāo);多源點(diǎn)網(wǎng)絡(luò)流圖的計(jì)算機(jī)解法[J];系統(tǒng)工程理論與實(shí)踐;1994年08期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 本報(bào)記者 龔保華;讓電視網(wǎng)絡(luò)流光溢彩[N];吉林日?qǐng)?bào);2013年

2 ;賽門鐵克ManHunt 網(wǎng)絡(luò)獵手[N];計(jì)算機(jī)世界;2003年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 戚玉娥;基于網(wǎng)絡(luò)流的流量異常檢測(cè)研究[D];山東師范大學(xué);2009年

2 樊煉;基于消息統(tǒng)計(jì)值的網(wǎng)絡(luò)流分類研究[D];華中科技大學(xué);2008年

3 葉麟;基于網(wǎng)絡(luò)流相關(guān)性的大規(guī)模網(wǎng)絡(luò)異常發(fā)現(xiàn)技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2006年

4 張洛什;基于Cavium平臺(tái)的網(wǎng)絡(luò)流分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱理工大學(xué);2011年

5 趙偉;基于網(wǎng)絡(luò)流特征的P2P網(wǎng)絡(luò)流量分類文學(xué)研究[D];西安電子科技大學(xué);2013年

6 馬力;骨干通信網(wǎng)絡(luò)環(huán)境下的流量異常檢測(cè)與分類[D];電子科技大學(xué);2012年

7 柏明國(guó);CVRP和分配網(wǎng)絡(luò)流算法研究[D];山東科技大學(xué);2003年

8 陳欣;基于NetFlow和sFlow網(wǎng)絡(luò)流融合的異常檢測(cè)方法研究[D];哈爾濱工程大學(xué);2013年

9 劉帥;基于IPv6 NetStream的網(wǎng)絡(luò)流監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

10 劉青;PF_RING研究及其在網(wǎng)絡(luò)流高速采集中的應(yīng)用[D];昆明理工大學(xué);2009年

，

本文編號(hào)：766578