本文關(guān)鍵詞：用優(yōu)化的正則表達(dá)式引擎進(jìn)行快速網(wǎng)絡(luò)流分類，，由筆耕文化傳播整理發(fā)布。

【摘要】：自從互聯(lián)網(wǎng)誕生以來(lái),網(wǎng)絡(luò)流分類就成了眾多網(wǎng)絡(luò)相關(guān)任務(wù)中的一種,也逐漸成了人們集中研究的對(duì)象。網(wǎng)絡(luò)流的分類與識(shí)別是網(wǎng)絡(luò)流量工程、入侵監(jiān)測(cè)與防御、包過(guò)濾、網(wǎng)絡(luò)設(shè)計(jì)與規(guī)劃等網(wǎng)絡(luò)行為的前提和基礎(chǔ),因此準(zhǔn)確高效地識(shí)別網(wǎng)絡(luò)流對(duì)于分析網(wǎng)絡(luò)發(fā)展趨勢(shì)和檢測(cè)網(wǎng)絡(luò)異常行為都有著很重要的現(xiàn)實(shí)意義。 本文主要研究快速網(wǎng)絡(luò)流分類優(yōu)化技術(shù),包括面向網(wǎng)絡(luò)流的正則表達(dá)式匹配技術(shù)和基于云計(jì)算平臺(tái)的大數(shù)據(jù)網(wǎng)絡(luò)流分類技術(shù)。對(duì)于正則表達(dá)式匹配技術(shù),目前應(yīng)用的系統(tǒng)是基于NFA (Non-deterministic Finite Automata)的匹配技術(shù)和基于DFA (Deterministic Finite Automata)的匹配技術(shù)。NFA技術(shù)匹配速度較慢,因此人們把目光投向了匹配速度更快的DFA技術(shù),DFA具有O(1)的快速狀態(tài)轉(zhuǎn)移時(shí)間,卻帶來(lái)了空間爆炸的缺陷,需要對(duì)DFA進(jìn)行空間壓縮優(yōu)化。另一方面,隨著現(xiàn)在網(wǎng)絡(luò)通信量急劇增長(zhǎng),儼然進(jìn)入了大數(shù)據(jù)領(lǐng)域,單機(jī)下已經(jīng)不堪重負(fù),無(wú)法有效的完成流量分類任務(wù),需要針對(duì)大數(shù)據(jù)流量的分類方案。 具體來(lái)說(shuō),本文的研究工作及方法主要集中在以下兩個(gè)方面： (1)使用優(yōu)化的DFA空間壓縮技術(shù)和狀態(tài)匹配速度提高技術(shù)進(jìn)行快速網(wǎng)絡(luò)流分類。通過(guò)調(diào)研DFA空間爆炸的本質(zhì)因素,研究出合適的空間壓縮算法和數(shù)據(jù)結(jié)構(gòu)對(duì)狀態(tài)和轉(zhuǎn)移邊進(jìn)行壓縮。由于在對(duì)DFA進(jìn)行空間壓縮后,其狀態(tài)轉(zhuǎn)移查詢可能沒(méi)有直接訪問(wèn)傳統(tǒng)DFA的狀態(tài)轉(zhuǎn)移二維表快速,即經(jīng)過(guò)空間壓縮后匹配速度可能會(huì)有所降低。為此,我們從提高匹配成功的速度和匹配失敗的速度兩方面來(lái)進(jìn)一步提速,并與傳統(tǒng)的DFA匹配效率進(jìn)行對(duì)比。 (2)研究基于Hadoop云計(jì)算平臺(tái)的大數(shù)據(jù)網(wǎng)絡(luò)流分類技術(shù)。運(yùn)用Hadoop Streaming技術(shù)將單機(jī)下的網(wǎng)絡(luò)流分類系統(tǒng)部署到Hadoop平臺(tái)下,解決Hadoop平臺(tái)本身不支持二進(jìn)制網(wǎng)絡(luò)流輸入格式的問(wèn)題,并通過(guò)Hadoop平臺(tái)調(diào)優(yōu)技術(shù)優(yōu)化各參數(shù),使其更好的應(yīng)用到云平臺(tái)上,從而能夠充分運(yùn)用云平臺(tái)的并行技術(shù)實(shí)現(xiàn)快速網(wǎng)絡(luò)流分類。 經(jīng)過(guò)實(shí)驗(yàn)論證,我們提出的DFA優(yōu)化技術(shù)能達(dá)到平均99%的壓縮效率且壓縮后的匹配效率是原DFA的3-5倍。另外隨著流量數(shù)據(jù)的增多,在Hadoop平臺(tái)下進(jìn)行分類的優(yōu)勢(shì)越來(lái)越明顯,遠(yuǎn)超過(guò)單機(jī)下的分類效率。本文提出的這兩種技術(shù)給大數(shù)據(jù)網(wǎng)絡(luò)流的快速分類和實(shí)時(shí)分類帶來(lái)了借鑒意義,有一定的應(yīng)用價(jià)值。
【關(guān)鍵詞】：流量分類 正則表達(dá)式 特征匹配 DFA匹配 Hadoop技術(shù)
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.08
【目錄】：

• 摘要5-6
• ABSTRACT6-8
• 目錄8-10
• 第1章 緒論10-16
• 1.1 研究背景10-11
• 1.2 研究現(xiàn)狀11-13
• 1.3 研究?jī)?nèi)容13-15
• 1.4 論文結(jié)構(gòu)15-16
• 第2章 網(wǎng)絡(luò)流分類和Hadoop相關(guān)技術(shù)16-34
• 2.1 網(wǎng)絡(luò)數(shù)據(jù)流16-17
• 2.2 網(wǎng)絡(luò)流分類技術(shù)17-20
• 2.2.1 基于端口的分類方法17-18
• 2.2.2 基于載荷特征的分類方法18
• 2.2.3 基于流統(tǒng)計(jì)特征的分類方法18-19
• 2.2.4 基于主機(jī)行為特征的分類方法19-20
• 2.2.5 基于圖的技術(shù)20
• 2.3 正則表達(dá)式匹配技術(shù)20-26
• 2.3.1 正則表達(dá)式21-22
• 2.3.2 非確定型有限自動(dòng)機(jī)匹配技術(shù)22-23
• 2.3.3 確定型有限自動(dòng)機(jī)匹配技術(shù)23-25
• 2.3.4 NFA與DFA的比較25-26
• 2.4 Hadoop云平臺(tái)技術(shù)研究26-33
• 2.4.1 云計(jì)算思想26
• 2.4.2 Hadoop云平臺(tái)的優(yōu)勢(shì)26-27
• 2.4.3 Hadoop的工作機(jī)制27-31
• 2.4.4 Hadoop平臺(tái)的參數(shù)調(diào)優(yōu)31-32
• 2.4.5 Hadoop Streaming技術(shù)32-33
• 2.5 本章小結(jié)33-34
• 第3章 優(yōu)化的DFA正則表達(dá)式匹配引擎34-50
• 3.1 選擇DFA引擎的原因34-35
• 3.2 DFA引擎的不足35
• 3.3 優(yōu)化的DFA空間壓縮技術(shù)35-44
• 3.3.1 DBDFA的基本思想36-37
• 3.3.2 問(wèn)題形式化描述37-39
• 3.3.3 DBDFA構(gòu)造思路39-40
• 3.3.4 一個(gè)例子40-41
• 3.3.5 DBDFA算法描述41-43
• 3.3.6 DBDFA匹配過(guò)程43-44
• 3.4 改善的DFA狀態(tài)匹配技術(shù)44-45
• 3.4.1 快速匹配失敗機(jī)制44
• 3.4.2 優(yōu)化的緩存技術(shù)44-45
• 3.5 實(shí)驗(yàn)驗(yàn)證及結(jié)果45-48
• 3.5.1 實(shí)驗(yàn)環(huán)境45
• 3.5.2 DBDFA的壓縮效率45-47
• 3.5.3 DBDFA的匹配效率47-48
• 3.6 本章小結(jié)48-50
• 第4章 基于Hadoop云平臺(tái)的網(wǎng)絡(luò)流分類系統(tǒng)50-58
• 4.1 Hadoop下的網(wǎng)絡(luò)流分類技術(shù)難題50-51
• 4.2 支持二進(jìn)制流輸入格式的MapReduce模型51-53
• 4.3 基于Hadoop的網(wǎng)絡(luò)流分類模塊53-55
• 4.4 實(shí)驗(yàn)驗(yàn)證及結(jié)果55-57
• 4.4.1 實(shí)驗(yàn)環(huán)境55
• 4.4.2 匹配效率對(duì)比55-57
• 4.5 本章小結(jié)57-58
• 第5章 總結(jié)與展望58-60
• 5.1 本文工作總結(jié)58-59
• 5.2 未來(lái)工作展望59-60
• 參考文獻(xiàn)60-64
• 附錄1 圖索引64-66
• 附錄2 表索引66-68
• 致謝68-70
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果70

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 李國(guó)平;王勇;陶曉玲;;基于DPI和機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類方法[J];桂林電子科技大學(xué)學(xué)報(bào);2012年02期

2 楊瓊?cè)A;;網(wǎng)絡(luò)流量分類研究進(jìn)展綜述及未來(lái)發(fā)展[J];企業(yè)科技與發(fā)展;2012年13期

  本文關(guān)鍵詞：用優(yōu)化的正則表達(dá)式引擎進(jìn)行快速網(wǎng)絡(luò)流分類，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：319144