本文關鍵詞：移動互聯網HTTP采集系統(tǒng)的設計與實現

  更多相關文章： 移動互聯網 HTTP采集系統(tǒng) 插件式報文解析系統(tǒng) HTTP業(yè)務組件 匹配率

【摘要】：當今世界,移動互聯網對人們生活的影響日益加強,使用各種移動終端訪問互聯網已經成為一種趨勢,同時也帶來了海量的移動互聯網流量。在近些年,移動互聯網一直在改變人們的生活習慣。通過網絡數據,人們可以很方便地使用很多互聯網服務,如社交服務、移動廣告和電子商務等等。而實際上這些網絡流量大部分都是由HTTP協(xié)議承載的,因此有必要對移動互聯網流量,特別是HTTP流量進行分析,以便更加清晰地了解網絡運行情況和用戶行為習慣,進而及時優(yōu)化網絡以及對用戶提供有針對性的網絡服務。 本文首先介紹了超文本傳輸協(xié)議目前的發(fā)展情況,分析了HTTP協(xié)議的報文格式和通信流程,然后提出了基于實時流量的HTTP采集系統(tǒng)。本文首先對插件式報文解析系統(tǒng)(PPP)進行了簡單的介紹,該系統(tǒng)將每一個協(xié)議編譯成一個動態(tài)庫進行動態(tài)調用,因此可以方便地實現協(xié)議擴展解析。本文進一步設計實現了HTTP業(yè)務組件,將HTTP報文按照五元組進行匹配,并將匹配話單輸出到日志。同時對該系統(tǒng)進行計數監(jiān)控,以便能夠及時地檢測出異常情況。然后對HTML報文的HEAD提取方法進行了詳細的論述。 隨后深入地分析了采集系統(tǒng)的性能并提出了優(yōu)化方法。針對輸出的日志,利用統(tǒng)計的方法對匹配率、HTTP報文流量特征規(guī)律進行了分析。最后,論文對移動網絡HTTP流量監(jiān)控的研究成果進行了總結和展望。
【關鍵詞】：移動互聯網 HTTP采集系統(tǒng) 插件式報文解析系統(tǒng) HTTP業(yè)務組件 匹配率
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TN929.5;TP393.01
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-11
• 1.1 課題背景9
• 1.2 研究意義9-10
• 1.3 論文結構10-11
• 第二章 HTTP協(xié)議概述11-19
• 2.1 HTTP協(xié)議簡介11-12
• 2.2 HTTP的工作原理12
• 2.3 HTTP報文格式12-17
• 2.3.1 起始行13-14
• 2.3.2 首部行14-17
• 2.4 總結17-19
• 第三章 HTTP采集系統(tǒng)的設計與實現19-43
• 3.1 功能概述19-21
• 3.1.1 采集系統(tǒng)整體架構19
• 3.1.2 采集系統(tǒng)工作原理19-20
• 3.1.3 PPP簡介20
• 3.1.4 HTTPapp模塊分解20-21
• 3.2 HTTP業(yè)務組件的設計21-34
• 3.2.1 哈希表結構設計21-23
• 3.2.2 哈希表超時設計23-27
• 3.2.3 HTTP協(xié)議解析27-29
• 3.2.4 HTTP消息匹配算法29-32
• 3.2.5 狀態(tài)收集線程32-34
• 3.3 HTML的HEAD提取方法34-40
• 3.3.1 研究意義34
• 3.3.2 HEAD提前方法設計34-36
• 3.3.3 緩存狀態(tài)機設計36-40
• 3.3.4 緩存表超時設計40
• 3.4 總結40-43
• 第四章 HTTP采集系統(tǒng)數據分析43-57
• 4.1 HTTP匹配率分析43-50
• 4.1.1 程序設計對應答匹配率的影響44-46
• 4.1.2 與其他匹配狀態(tài)的關聯情況46-48
• 4.1.3 疑似重傳的影響48-49
• 4.1.4 不同超時閾值對應答匹配率的影響49-50
• 4.2 報文流量特征分析50-55
• 4.2.1 首部統(tǒng)計分析50-51
• 4.2.2 HTTP會話數分析51-52
• 4.2.3 報文資源種類分布52-53
• 4.2.4 報文長度分布53-54
• 4.2.5 報文重組分析54-55
• 4.3 總結55-57
• 第五章 HTTP采集系統(tǒng)性能分析57-71
• 5.1 HTTP業(yè)務組件工作狀態(tài)機57-59
• 5.2 HTTP業(yè)務組件的測量指標59-60
• 5.3 采集器性能測試60-69
• 5.3.1 HTTP業(yè)務組件61-67
• 5.3.2 采集器性能優(yōu)化測試67-69
• 5.4 總結69-71
• 第六章 總結與展望71-73
• 參考文獻73-75
• 致謝75-77
• 攻讀學位期間發(fā)表的學術論文目錄77

【共引文獻】

中國期刊全文數據庫 前4條

1 周林;孫衛(wèi)強;胡衛(wèi)生;;TCP短流對擁塞點隊列深度影響的分析[J];廣西大學學報(自然科學版);2012年06期

2 石磊;陳文遠;陶永才;衛(wèi)琳;;自適應累加型失效檢測模型研究[J];計算機應用;2012年03期

3 朱麗軍;楊鳴;劉高平;;HTTP協(xié)議的剖析及其在嵌入式監(jiān)視系統(tǒng)中的應用[J];寧波大學學報(理工版);2008年02期

4 段文佳;劉曉潔;;一種自適應失效檢測算法的研究與應用[J];計算機工程;2014年03期

中國碩士學位論文全文數據庫 前9條

1 楊鑫;基于網絡處理器的Web用戶體驗測量研究[D];上海交通大學;2011年

2 李強;基于嵌入式Web的無線家居系統(tǒng)設計[D];武漢理工大學;2009年

3 張泳;軟件系統(tǒng)的遠程故障診斷與維護技術研究[D];南京航空航天大學;2009年

4 張帆;大壩安全遠程監(jiān)控系統(tǒng)嵌入式Web服務器的設計與開發(fā)[D];湖南大學;2010年

5 陳文遠;累加型失效檢測模型研究[D];鄭州大學;2012年

6 姜偉;基于.net的手機視頻監(jiān)控系統(tǒng)的研究與設計[D];中國海洋大學;2011年

7 張龍濤;一種基于QoS的自適應失效檢測算法研究[D];鄭州大學;2013年

8 彭婕;基于TCP流的路由器緩存優(yōu)化設置方法研究[D];電子科技大學;2013年

9 張愛娟;基于Linux的嵌入式瀏覽器的設計與實現[D];福州大學;2010年

，

本文編號：630173