【摘要】：在網(wǎng)絡與計算機普及并滲透千家萬戶的當今社會,我們迎來了大數(shù)據(jù)DT時代,因網(wǎng)絡中大部分訪問報文由HTTP協(xié)議承載,高效實時的采集HTTP數(shù)據(jù)并挖掘其中的信息有助于更好的認知真實網(wǎng)絡數(shù)據(jù)蘊藏的價值以及了解網(wǎng)民的行為習慣,進而可以優(yōu)化相關網(wǎng)絡服務并可以更有針對性的為用戶提供服務。本文首先講述了萬維網(wǎng)中HTTP協(xié)議的工作原理及報文特點并介紹了分布式計算大數(shù)據(jù)平臺的原理,為后文系統(tǒng)開發(fā)與大數(shù)據(jù)分析處理奠定理論基礎。然后設計并開發(fā)了 HTTP協(xié)議采集系統(tǒng),該系統(tǒng)可以實時的從網(wǎng)卡接收數(shù)據(jù),對亂序到達的報文進行重組,結(jié)合多模匹配算法根據(jù)用戶定義字段去解析報文,生成格式化話單。完成開發(fā)后,系統(tǒng)通過了功能測試及性能測試。為了使系統(tǒng)更好的適配真實網(wǎng)絡環(huán)境,在分析了采集系統(tǒng)性能影響因素后,本文從軟件結(jié)構和報文解析兩個角度對系統(tǒng)進行優(yōu)化提升。隨后將HTTP協(xié)議采集系統(tǒng)部署于核心網(wǎng)及校園網(wǎng)中,實時采集數(shù)據(jù),分別針對核心網(wǎng)和校園網(wǎng)的話單數(shù)據(jù)進行分析,了解不同群體上網(wǎng)產(chǎn)生的流量特征及HTTP報文特點。此外,本課題還利用話單數(shù)據(jù)對斗魚軟件進行用戶留存及操作行為分析,將HTTP大數(shù)據(jù)分析應用于商業(yè)軟件分析中,幫助軟件更好的了解用戶群體。最后論文對HTTP協(xié)議采集系統(tǒng)的設計實現(xiàn)與應用進行了總結(jié)與展望。
[Abstract]:In today's society where the network and computer are popularized and permeated by thousands of households, we have ushered in the era of big data DT, because most of the access packets in the network are carried by the HTTP protocol. Efficient real-time HTTP data collection and mining the information in it is helpful to better understand the value of the real network data and understand the behavior habits of Internet users. Furthermore, it can optimize related network services and provide more targeted services to users. This paper first describes the working principle and message characteristics of HTTP protocol in the World wide Web, and introduces the principle of distributed computing big data platform, which lays a theoretical foundation for the later development of the system and the analysis and processing of big data. Then the HTTP protocol acquisition system is designed and developed. The system can receive the data from the network card in real time, reorganize the incoming packets in disorder order, analyze the packets according to the user-defined fields combined with the multi-mode matching algorithm, and generate the formatted voice sheet. After the development, the system passed the function test and performance test. In order to better adapt the system to the real network environment, after analyzing the factors affecting the performance of the acquisition system, this paper optimizes the system from the two aspects of software structure and packet analysis. Then the HTTP protocol acquisition system is deployed in the core network and campus network to collect the data in real time. The data of the core network and the campus network are analyzed respectively to understand the traffic characteristics and the characteristics of HTTP message generated by different groups of Internet. In addition, this paper also uses the data of telephone bill to carry on the user retention and the operation behavior analysis to the Douyu software, applies the HTTP big data analysis to the commercial software analysis, helps the software to understand the user group better. Finally, the design and application of HTTP protocol acquisition system are summarized and prospected.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP393.04

【相似文獻】

相關期刊論文 前10條

1 閆偉超;;鐵通計費采集系統(tǒng)使用和維護[J];鐵道通信信號;2010年04期

2 胡敏之;風洞壓力微機采集系統(tǒng)[J];浙江工學院學報;1988年03期

3 吳洪潭,葉含笑;醫(yī)學視頻流采集系統(tǒng)的設計與實現(xiàn)[J];計算機工程與設計;2003年04期

4 王曉波,包宏;視頻交通實時采集系統(tǒng)的設計與實現(xiàn)[J];計算機應用研究;2005年02期

5 韓相軍;關永;王萬森;王雪立;;嵌入式視頻采集系統(tǒng)的設計與實現(xiàn)[J];微計算機信息;2006年02期

6 陸麗芳;何維群;;聯(lián)機計費采集系統(tǒng)的集成及應用[J];計算機與現(xiàn)代化;2007年02期

7 孫仲健;房艷峰;段瑋瑋;;筒式風能采集系統(tǒng)及其試驗研究[J];浙江海洋學院學報(自然科學版);2008年04期

8 趙瑩;;一種用計算機進行的溫度實時采集系統(tǒng)[J];廣播電視信息(下半月刊);2008年11期

9 黎莉;;計費數(shù)據(jù)聯(lián)機實時采集系統(tǒng)及其應用[J];信息與電腦(理論版);2011年03期

10 聶萬祥;趙傅艷;;全業(yè)務模式化的綜合采集系統(tǒng)[J];信息通信技術;2011年06期

相關會議論文 前10條

1 宋箭;;表面肌電采集系統(tǒng)及其應用[A];第十一屆全國運動生物力學學術交流大會論文匯編（摘要）[C];2006年

2 于海業(yè);李國臣;馬成林;;植物電位信號采集系統(tǒng)的開發(fā)與應用(英文)[A];第三屆全國信息獲取與處理學術會議論文集[C];2005年

3 李春勝;王恩美;范鑫;王宏;;磁場刺激誘發(fā)肌電信號的采集系統(tǒng)[A];中國儀器儀表學會第三屆青年學術會議論文集（下）[C];2001年

4 詹瑜;;標本數(shù)字化管理軟件與三維數(shù)字模型采集系統(tǒng)[A];博物館藏品保管學術論文集[C];2004年

5 劉揚;賈海濤;曹麗;;手寫動態(tài)特征采集系統(tǒng)的設計[A];第七屆青年學術會議論文集[C];2005年

6 王鵬;左旺孟;李乃民;張宏志;劉珊;;多路邁向采集系統(tǒng)的設計與實現(xiàn)[A];中國中西醫(yī)結(jié)合學會第六屆全國診斷學術會議論文集[C];2012年

7 巫懿;何建平;姜春海;;太鋼能源計量采集系統(tǒng)的分析與應用[A];企業(yè)計量測試與質(zhì)量管理——中國科協(xié)2005年學術年會論文集[C];2005年

8 趙欣;許春艷;;基于ADS8364和ARM7單片機的導航姿態(tài)角采集系統(tǒng)設計[A];第八屆工業(yè)儀表與自動化學術會議論文集[C];2007年

9 陳錫輝;謝小希;高翠山;聶振東;;MDC模型實驗參量采集系統(tǒng)的軟件設計[A];第11屆全國計算機在現(xiàn)代科學技術領域應用學術會議論文集[C];2003年

10 鄭永輝;;一種基于DSP的回波信號實時采集系統(tǒng)設計[A];中國聲學學會2005年青年學術會議[CYCA'05]論文集[C];2005年

相關重要報紙文章 前8條

1 李岳鵬;民爆物品信息化采集系統(tǒng)獲好評[N];中煤地質(zhì)報;2007年

2 侯利平 汪國民 記者劉領;校安工程采集系統(tǒng)通過國家級校驗[N];錦州日報;2010年

3 朱元旦 黃東;大連市建成統(tǒng)計數(shù)據(jù)網(wǎng)上采集系統(tǒng)[N];中國信息報;2007年

4 通訊員 鄒爭春 記者 張國圣;交通事故現(xiàn)場信息快速采集系統(tǒng)問世[N];光明日報;2013年

5 中國聯(lián)通太原市分公司設備維護中心 周毅;淺談聯(lián)機計費采集系統(tǒng)的實現(xiàn)[N];山西科技報;2010年

6 ;網(wǎng)閘中HTTP協(xié)議的剝離與重建原理[N];計算機世界;2004年

7 ;社會化采集系統(tǒng)倍增效能[N];常州日報;2008年

8 通訊員 張春云　陳愛紅;采集系統(tǒng)帶來的變化[N];臨汾日報;2010年

相關博士學位論文 前1條

1 董永吉;面向資源優(yōu)化的分層式高速報文解析技術研究[D];解放軍信息工程大學;2013年

相關碩士學位論文 前10條

1 李安琪;HTTP協(xié)議采集系統(tǒng)的設計實現(xiàn)與應用[D];北京郵電大學;2017年

2 晁志峰;基于城市快速公交BRT的棋盤式道路能量采集系統(tǒng)及關鍵技術研究[D];西南交通大學;2015年

3 王旭輝;溫室氣象要素遠程無線采集系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

4 李宇菲;基于DSP的發(fā)動機參數(shù)采集系統(tǒng)的軟件設計與實現(xiàn)[D];西安電子科技大學;2014年

5 陳雯;電信綜合告警采集系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2015年

6 王鏵棟;高速模擬采集系統(tǒng)的設計和實現(xiàn)[D];西安電子科技大學;2014年

7 虞瀟鎣;基于CPLD的線陣CCD光譜信息采集系統(tǒng)研究[D];南京郵電大學;2015年

8 朱倩倩;基于FPGA的耐高壓水聲采集系統(tǒng)[D];中北大學;2016年

9 汪瑞;面向高質(zhì)量生物電采集系統(tǒng)的若干研究[D];南京大學;2014年

10 劉委;基于LZW算法的發(fā)動機參數(shù)實時采集系統(tǒng)的實現(xiàn)[D];江蘇大學;2016年

，

本文編號：2141451