本文關(guān)鍵詞：移動互聯(lián)網(wǎng)HTTP采集系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 移動互聯(lián)網(wǎng) HTTP采集系統(tǒng) 插件式報文解析系統(tǒng) HTTP業(yè)務(wù)組件 匹配率

【摘要】：當(dāng)今世界,移動互聯(lián)網(wǎng)對人們生活的影響日益加強(qiáng),使用各種移動終端訪問互聯(lián)網(wǎng)已經(jīng)成為一種趨勢,同時也帶來了海量的移動互聯(lián)網(wǎng)流量。在近些年,移動互聯(lián)網(wǎng)一直在改變?nèi)藗兊纳盍?xí)慣。通過網(wǎng)絡(luò)數(shù)據(jù),人們可以很方便地使用很多互聯(lián)網(wǎng)服務(wù),如社交服務(wù)、移動廣告和電子商務(wù)等等。而實際上這些網(wǎng)絡(luò)流量大部分都是由HTTP協(xié)議承載的,因此有必要對移動互聯(lián)網(wǎng)流量,特別是HTTP流量進(jìn)行分析,以便更加清晰地了解網(wǎng)絡(luò)運行情況和用戶行為習(xí)慣,進(jìn)而及時優(yōu)化網(wǎng)絡(luò)以及對用戶提供有針對性的網(wǎng)絡(luò)服務(wù)。 本文首先介紹了超文本傳輸協(xié)議目前的發(fā)展情況,分析了HTTP協(xié)議的報文格式和通信流程,然后提出了基于實時流量的HTTP采集系統(tǒng)。本文首先對插件式報文解析系統(tǒng)(PPP)進(jìn)行了簡單的介紹,該系統(tǒng)將每一個協(xié)議編譯成一個動態(tài)庫進(jìn)行動態(tài)調(diào)用,因此可以方便地實現(xiàn)協(xié)議擴(kuò)展解析。本文進(jìn)一步設(shè)計實現(xiàn)了HTTP業(yè)務(wù)組件,將HTTP報文按照五元組進(jìn)行匹配,并將匹配話單輸出到日志。同時對該系統(tǒng)進(jìn)行計數(shù)監(jiān)控,以便能夠及時地檢測出異常情況。然后對HTML報文的HEAD提取方法進(jìn)行了詳細(xì)的論述。 隨后深入地分析了采集系統(tǒng)的性能并提出了優(yōu)化方法。針對輸出的日志,利用統(tǒng)計的方法對匹配率、HTTP報文流量特征規(guī)律進(jìn)行了分析。最后,論文對移動網(wǎng)絡(luò)HTTP流量監(jiān)控的研究成果進(jìn)行了總結(jié)和展望。
【關(guān)鍵詞】：移動互聯(lián)網(wǎng) HTTP采集系統(tǒng) 插件式報文解析系統(tǒng) HTTP業(yè)務(wù)組件 匹配率
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TN929.5;TP393.01
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-11
• 1.1 課題背景9
• 1.2 研究意義9-10
• 1.3 論文結(jié)構(gòu)10-11
• 第二章 HTTP協(xié)議概述11-19
• 2.1 HTTP協(xié)議簡介11-12
• 2.2 HTTP的工作原理12
• 2.3 HTTP報文格式12-17
• 2.3.1 起始行13-14
• 2.3.2 首部行14-17
• 2.4 總結(jié)17-19
• 第三章 HTTP采集系統(tǒng)的設(shè)計與實現(xiàn)19-43
• 3.1 功能概述19-21
• 3.1.1 采集系統(tǒng)整體架構(gòu)19
• 3.1.2 采集系統(tǒng)工作原理19-20
• 3.1.3 PPP簡介20
• 3.1.4 HTTPapp模塊分解20-21
• 3.2 HTTP業(yè)務(wù)組件的設(shè)計21-34
• 3.2.1 哈希表結(jié)構(gòu)設(shè)計21-23
• 3.2.2 哈希表超時設(shè)計23-27
• 3.2.3 HTTP協(xié)議解析27-29
• 3.2.4 HTTP消息匹配算法29-32
• 3.2.5 狀態(tài)收集線程32-34
• 3.3 HTML的HEAD提取方法34-40
• 3.3.1 研究意義34
• 3.3.2 HEAD提前方法設(shè)計34-36
• 3.3.3 緩存狀態(tài)機(jī)設(shè)計36-40
• 3.3.4 緩存表超時設(shè)計40
• 3.4 總結(jié)40-43
• 第四章 HTTP采集系統(tǒng)數(shù)據(jù)分析43-57
• 4.1 HTTP匹配率分析43-50
• 4.1.1 程序設(shè)計對應(yīng)答匹配率的影響44-46
• 4.1.2 與其他匹配狀態(tài)的關(guān)聯(lián)情況46-48
• 4.1.3 疑似重傳的影響48-49
• 4.1.4 不同超時閾值對應(yīng)答匹配率的影響49-50
• 4.2 報文流量特征分析50-55
• 4.2.1 首部統(tǒng)計分析50-51
• 4.2.2 HTTP會話數(shù)分析51-52
• 4.2.3 報文資源種類分布52-53
• 4.2.4 報文長度分布53-54
• 4.2.5 報文重組分析54-55
• 4.3 總結(jié)55-57
• 第五章 HTTP采集系統(tǒng)性能分析57-71
• 5.1 HTTP業(yè)務(wù)組件工作狀態(tài)機(jī)57-59
• 5.2 HTTP業(yè)務(wù)組件的測量指標(biāo)59-60
• 5.3 采集器性能測試60-69
• 5.3.1 HTTP業(yè)務(wù)組件61-67
• 5.3.2 采集器性能優(yōu)化測試67-69
• 5.4 總結(jié)69-71
• 第六章 總結(jié)與展望71-73
• 參考文獻(xiàn)73-75
• 致謝75-77
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄77

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 周林;孫衛(wèi)強(qiáng);胡衛(wèi)生;;TCP短流對擁塞點隊列深度影響的分析[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2012年06期

2 石磊;陳文遠(yuǎn);陶永才;衛(wèi)琳;;自適應(yīng)累加型失效檢測模型研究[J];計算機(jī)應(yīng)用;2012年03期

3 朱麗軍;楊鳴;劉高平;;HTTP協(xié)議的剖析及其在嵌入式監(jiān)視系統(tǒng)中的應(yīng)用[J];寧波大學(xué)學(xué)報(理工版);2008年02期

4 段文佳;劉曉潔;;一種自適應(yīng)失效檢測算法的研究與應(yīng)用[J];計算機(jī)工程;2014年03期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 楊鑫;基于網(wǎng)絡(luò)處理器的Web用戶體驗測量研究[D];上海交通大學(xué);2011年

2 李強(qiáng);基于嵌入式Web的無線家居系統(tǒng)設(shè)計[D];武漢理工大學(xué);2009年

3 張泳;軟件系統(tǒng)的遠(yuǎn)程故障診斷與維護(hù)技術(shù)研究[D];南京航空航天大學(xué);2009年

4 張帆;大壩安全遠(yuǎn)程監(jiān)控系統(tǒng)嵌入式Web服務(wù)器的設(shè)計與開發(fā)[D];湖南大學(xué);2010年

5 陳文遠(yuǎn);累加型失效檢測模型研究[D];鄭州大學(xué);2012年

6 姜偉;基于.net的手機(jī)視頻監(jiān)控系統(tǒng)的研究與設(shè)計[D];中國海洋大學(xué);2011年

7 張龍濤;一種基于QoS的自適應(yīng)失效檢測算法研究[D];鄭州大學(xué);2013年

8 彭婕;基于TCP流的路由器緩存優(yōu)化設(shè)置方法研究[D];電子科技大學(xué);2013年

9 張愛娟;基于Linux的嵌入式瀏覽器的設(shè)計與實現(xiàn)[D];福州大學(xué);2010年

，

本文編號：630173