【摘要】：當(dāng)前基于單機(jī)系統(tǒng)的傳輸控制協(xié)議(TCP)報(bào)文重組工具隨著數(shù)據(jù)量的增大,運(yùn)行效率越來越低,難以滿足大數(shù)據(jù)時(shí)代的需求。為此,提出一種基于Hadoop的海量數(shù)據(jù)TCP報(bào)文重組系統(tǒng)。利用Hadoop分布式文件系統(tǒng)(HDFS)以及MapReduce并行處理框架,對(duì)TCP報(bào)文重組中的數(shù)據(jù)讀取和結(jié)果輸出步驟進(jìn)行并行化處理。采用M apReduce輔助排序技術(shù)實(shí)現(xiàn)海量TCP數(shù)據(jù)流的分類。測(cè)試結(jié)果表明,與基于單機(jī)系統(tǒng)的報(bào)文重組工具相比,基于Hadoop的報(bào)文重組系統(tǒng)工作效率更高,并且當(dāng)數(shù)據(jù)量達(dá)到100 GB時(shí),運(yùn)行效率可提升近84%。
[Abstract]:With the increase of the amount of data, the running efficiency of the current transmission control protocol (TCP) reengineering tools based on single-machine system is getting lower and lower, and it is difficult to meet the needs of big data era. In this paper, a massive data TCP message recombination system based on Hadoop is proposed. By using Hadoop distributed file system (HDFS) and MapReduce parallel processing framework, the steps of data reading and result output in TCP packet reassembly are processed in parallel. M-apReduce aided sorting technology is used to classify massive TCP data streams. The test results show that the efficiency of the Hadoop-based packet reassembly system is higher than that of the single-machine message reassembly tool, and when the amount of data is up to 100 GB, the running efficiency can be increased by nearly 84%.
【作者單位】： 南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【分類號(hào)】：TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 求欽龍;吳春明;平玲娣;呂紅兵;;重傳TCP確認(rèn)包及在長期演進(jìn)網(wǎng)絡(luò)中的應(yīng)用[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2011年09期

2 吳建勝,戰(zhàn)學(xué)剛;基于TCP狀態(tài)有限自動(dòng)機(jī)的入侵檢測(cè)研究[J];鞍山科技大學(xué)學(xué)報(bào);2005年05期

3 袁興國 ,于志宏 ,方廣和;在TCP通信中實(shí)現(xiàn)數(shù)據(jù)邊界確認(rèn)[J];電腦編程技巧與維護(hù);2001年12期

4 蔡小淳;黎金濤;狄紅衛(wèi);;基于TCP的實(shí)時(shí)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)[J];信息技術(shù);2013年02期

5 劉紹南;支持并發(fā)機(jī)制的TCP協(xié)議實(shí)現(xiàn)技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;1999年10期

6 潘磊;金秋;;一種改進(jìn)的TCP分布式拒絕服務(wù)攻擊防御方法[J];中原工學(xué)院學(xué)報(bào);2009年03期

7 韋衛(wèi),王行剛;TCP安全框架的研究[J];通信學(xué)報(bào);1997年11期

8 陳作田,周金芳,陳抗生;無線網(wǎng)絡(luò)TCP協(xié)議純端到端解決方案研究[J];計(jì)算機(jī)應(yīng)用;2005年07期

9 都沁萍;解析TCP與UDP協(xié)議及其異同[J];電腦知識(shí)與技術(shù);2004年05期

10 于朋飛,李海英;確認(rèn)TCP通信中的數(shù)據(jù)邊界[J];計(jì)算機(jī)與現(xiàn)代化;2004年03期

相關(guān)會(huì)議論文 前8條

1 張志斌;;無線環(huán)境下TCP協(xié)議的研究[A];中國通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 徐廣;郭莉;;由I-TCP到A-TCP-分層屏蔽思想在無線TCP改進(jìn)中的應(yīng)用[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

3 王敬欣;孫彥坡;;利用TCP解決農(nóng)村覆蓋問題的探討[A];中國通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

4 馬將;周大利;楊為中;吳文進(jìn);胡曰博;肖斌;;聚L-乳酸改性α-TCP骨水泥的研究[A];2004年材料科學(xué)與工程新進(jìn)展[C];2004年

5 孔華鋒;金波;劉恩強(qiáng);候曉杰;;快速無損TCP數(shù)據(jù)流重組算法研究[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十四卷）[C];2009年

6 聶曉峰;荊繼武;高能;;以TCP為目標(biāo)的慢速DoS攻擊的檢測(cè)[A];第二十一次全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

7 王兵;王勇強(qiáng);曹書華;;脂多糖誘發(fā)小鼠TCP中血小板對(duì)TLR4表達(dá)變化及中性粒細(xì)胞對(duì)其影響[A];中華醫(yī)學(xué)會(huì)第五次全國重癥醫(yī)學(xué)大會(huì)論文匯編[C];2011年

8 馬將;吳文進(jìn);胡曰博;楊為中;尹光福;周大利;;聚L-乳酸改性α-TCP骨水泥的研究[A];2004年中國材料研討會(huì)論文摘要集[C];2004年

相關(guān)重要報(bào)紙文章 前9條

1 劉文;TCP在江蘇啟動(dòng)清潔能源計(jì)劃[N];消費(fèi)日?qǐng)?bào);2010年

2 冷云;TCP 協(xié)議再次發(fā)現(xiàn)安全缺陷[N];中國計(jì)算機(jī)報(bào);2001年

3 實(shí)習(xí)生 楊繼華　記者 王培泉;天成開發(fā)TCP平頭式塔式起重機(jī)[N];自貢日?qǐng)?bào);2010年

4 河北省保定市清苑中學(xué) 王琳;開啟路由器的TCP攔截[N];中國電腦教育報(bào);2004年

5 通訊員 金陵;美國TCP進(jìn)軍漣水農(nóng)村推廣節(jié)能燈[N];建筑時(shí)報(bào);2010年

6 朱敏;有了衛(wèi)星協(xié)議網(wǎng)關(guān) TCP一點(diǎn)都不慢[N];中國計(jì)算機(jī)報(bào);2001年

7 劉福浩;讓TCP的數(shù)據(jù)包更安全[N];電腦報(bào);2004年

8 ;高速TCP緩解廣域網(wǎng)擁塞[N];網(wǎng)絡(luò)世界;2005年

9 ;自適應(yīng)性TCP優(yōu)化廣域網(wǎng)[N];網(wǎng)絡(luò)世界;2005年

相關(guān)博士學(xué)位論文 前2條

1 孫寶利;毒死蜱主要有毒代謝物3，，5，6-TCP在土壤中的環(huán)境行為研究[D];中國農(nóng)業(yè)科學(xué)院;2012年

2 徐偉;TCP協(xié)議的性能建模研究[D];中國科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 余麗麗;基于廣域網(wǎng)數(shù)據(jù)壓縮的改進(jìn)TCP代理技術(shù)的設(shè)計(jì)[D];南京理工大學(xué);2015年

2 毛園園;基于FPGA的TCP協(xié)議的設(shè)計(jì)與驗(yàn)證[D];電子科技大學(xué);2015年

3 翟豐泰;基于網(wǎng)絡(luò)編碼的TCP協(xié)議（NCTCP）設(shè)計(jì)與研究[D];西安電子科技大學(xué);2015年

4 陶仲;基于滑模控制的TCP網(wǎng)絡(luò)主動(dòng)隊(duì)列管理算法的研究[D];東北大學(xué);2014年

5 張志超;基于主機(jī)標(biāo)識(shí)的多路徑TCP設(shè)計(jì)與實(shí)現(xiàn)[D];清華大學(xué);2012年

6 黎金濤;基于TCP實(shí)時(shí)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與開發(fā)[D];暨南大學(xué);2012年

7 劉林;置位法解決TCP重傳二義性問題[D];河南大學(xué);2004年

8 孫芳蕾;基于無線TCP數(shù)據(jù)鏈路層解決機(jī)制的研究[D];西安電子科技大學(xué);2004年

9 李超;無線網(wǎng)中TCP協(xié)議改進(jìn)算法研究[D];湖南大學(xué);2004年

10 尤維;基于無線局域網(wǎng)的TCP協(xié)議改進(jìn)算法的研究[D];吉林大學(xué);2011年

本文編號(hào)：2437398