發(fā)布時(shí)間：2018-07-24 12:55

【摘要】：在網(wǎng)絡(luò)與計(jì)算機(jī)普及并滲透千家萬戶的當(dāng)今社會(huì),我們迎來了大數(shù)據(jù)DT時(shí)代,因網(wǎng)絡(luò)中大部分訪問報(bào)文由HTTP協(xié)議承載,高效實(shí)時(shí)的采集HTTP數(shù)據(jù)并挖掘其中的信息有助于更好的認(rèn)知真實(shí)網(wǎng)絡(luò)數(shù)據(jù)蘊(yùn)藏的價(jià)值以及了解網(wǎng)民的行為習(xí)慣,進(jìn)而可以優(yōu)化相關(guān)網(wǎng)絡(luò)服務(wù)并可以更有針對性的為用戶提供服務(wù)。本文首先講述了萬維網(wǎng)中HTTP協(xié)議的工作原理及報(bào)文特點(diǎn)并介紹了分布式計(jì)算大數(shù)據(jù)平臺(tái)的原理,為后文系統(tǒng)開發(fā)與大數(shù)據(jù)分析處理奠定理論基礎(chǔ)。然后設(shè)計(jì)并開發(fā)了 HTTP協(xié)議采集系統(tǒng),該系統(tǒng)可以實(shí)時(shí)的從網(wǎng)卡接收數(shù)據(jù),對亂序到達(dá)的報(bào)文進(jìn)行重組,結(jié)合多模匹配算法根據(jù)用戶定義字段去解析報(bào)文,生成格式化話單。完成開發(fā)后,系統(tǒng)通過了功能測試及性能測試。為了使系統(tǒng)更好的適配真實(shí)網(wǎng)絡(luò)環(huán)境,在分析了采集系統(tǒng)性能影響因素后,本文從軟件結(jié)構(gòu)和報(bào)文解析兩個(gè)角度對系統(tǒng)進(jìn)行優(yōu)化提升。隨后將HTTP協(xié)議采集系統(tǒng)部署于核心網(wǎng)及校園網(wǎng)中,實(shí)時(shí)采集數(shù)據(jù),分別針對核心網(wǎng)和校園網(wǎng)的話單數(shù)據(jù)進(jìn)行分析,了解不同群體上網(wǎng)產(chǎn)生的流量特征及HTTP報(bào)文特點(diǎn)。此外,本課題還利用話單數(shù)據(jù)對斗魚軟件進(jìn)行用戶留存及操作行為分析,將HTTP大數(shù)據(jù)分析應(yīng)用于商業(yè)軟件分析中,幫助軟件更好的了解用戶群體。最后論文對HTTP協(xié)議采集系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)與應(yīng)用進(jìn)行了總結(jié)與展望。
[Abstract]:In today's society where the network and computer are popularized and permeated by thousands of households, we have ushered in the era of big data DT, because most of the access packets in the network are carried by the HTTP protocol. Efficient real-time HTTP data collection and mining the information in it is helpful to better understand the value of the real network data and understand the behavior habits of Internet users. Furthermore, it can optimize related network services and provide more targeted services to users. This paper first describes the working principle and message characteristics of HTTP protocol in the World wide Web, and introduces the principle of distributed computing big data platform, which lays a theoretical foundation for the later development of the system and the analysis and processing of big data. Then the HTTP protocol acquisition system is designed and developed. The system can receive the data from the network card in real time, reorganize the incoming packets in disorder order, analyze the packets according to the user-defined fields combined with the multi-mode matching algorithm, and generate the formatted voice sheet. After the development, the system passed the function test and performance test. In order to better adapt the system to the real network environment, after analyzing the factors affecting the performance of the acquisition system, this paper optimizes the system from the two aspects of software structure and packet analysis. Then the HTTP protocol acquisition system is deployed in the core network and campus network to collect the data in real time. The data of the core network and the campus network are analyzed respectively to understand the traffic characteristics and the characteristics of HTTP message generated by different groups of Internet. In addition, this paper also uses the data of telephone bill to carry on the user retention and the operation behavior analysis to the Douyu software, applies the HTTP big data analysis to the commercial software analysis, helps the software to understand the user group better. Finally, the design and application of HTTP protocol acquisition system are summarized and prospected.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.04

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆偉超;;鐵通計(jì)費(fèi)采集系統(tǒng)使用和維護(hù)[J];鐵道通信信號(hào);2010年04期

2 胡敏之;風(fēng)洞壓力微機(jī)采集系統(tǒng)[J];浙江工學(xué)院學(xué)報(bào);1988年03期

3 吳洪潭,葉含笑;醫(yī)學(xué)視頻流采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年04期

4 王曉波,包宏;視頻交通實(shí)時(shí)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2005年02期

5 韓相軍;關(guān)永;王萬森;王雪立;;嵌入式視頻采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2006年02期

6 陸麗芳;何維群;;聯(lián)機(jī)計(jì)費(fèi)采集系統(tǒng)的集成及應(yīng)用[J];計(jì)算機(jī)與現(xiàn)代化;2007年02期

7 孫仲健;房艷峰;段瑋瑋;;筒式風(fēng)能采集系統(tǒng)及其試驗(yàn)研究[J];浙江海洋學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年04期

8 趙瑩;;一種用計(jì)算機(jī)進(jìn)行的溫度實(shí)時(shí)采集系統(tǒng)[J];廣播電視信息(下半月刊);2008年11期

9 黎莉;;計(jì)費(fèi)數(shù)據(jù)聯(lián)機(jī)實(shí)時(shí)采集系統(tǒng)及其應(yīng)用[J];信息與電腦(理論版);2011年03期

10 聶萬祥;趙傅艷;;全業(yè)務(wù)模式化的綜合采集系統(tǒng)[J];信息通信技術(shù);2011年06期

相關(guān)會(huì)議論文 前10條

1 宋箭;;表面肌電采集系統(tǒng)及其應(yīng)用[A];第十一屆全國運(yùn)動(dòng)生物力學(xué)學(xué)術(shù)交流大會(huì)論文匯編（摘要）[C];2006年

2 于海業(yè);李國臣;馬成林;;植物電位信號(hào)采集系統(tǒng)的開發(fā)與應(yīng)用(英文)[A];第三屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2005年

3 李春勝;王恩美;范鑫;王宏;;磁場刺激誘發(fā)肌電信號(hào)的采集系統(tǒng)[A];中國儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（下）[C];2001年

4 詹瑜;;標(biāo)本數(shù)字化管理軟件與三維數(shù)字模型采集系統(tǒng)[A];博物館藏品保管學(xué)術(shù)論文集[C];2004年

5 劉揚(yáng);賈海濤;曹麗;;手寫動(dòng)態(tài)特征采集系統(tǒng)的設(shè)計(jì)[A];第七屆青年學(xué)術(shù)會(huì)議論文集[C];2005年

6 王鵬;左旺孟;李乃民;張宏志;劉珊;;多路邁向采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];中國中西醫(yī)結(jié)合學(xué)會(huì)第六屆全國診斷學(xué)術(shù)會(huì)議論文集[C];2012年

7 巫懿;何建平;姜春海;;太鋼能源計(jì)量采集系統(tǒng)的分析與應(yīng)用[A];企業(yè)計(jì)量測試與質(zhì)量管理——中國科協(xié)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

8 趙欣;許春艷;;基于ADS8364和ARM7單片機(jī)的導(dǎo)航姿態(tài)角采集系統(tǒng)設(shè)計(jì)[A];第八屆工業(yè)儀表與自動(dòng)化學(xué)術(shù)會(huì)議論文集[C];2007年

9 陳錫輝;謝小希;高翠山;聶振東;;MDC模型實(shí)驗(yàn)參量采集系統(tǒng)的軟件設(shè)計(jì)[A];第11屆全國計(jì)算機(jī)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

10 鄭永輝;;一種基于DSP的回波信號(hào)實(shí)時(shí)采集系統(tǒng)設(shè)計(jì)[A];中國聲學(xué)學(xué)會(huì)2005年青年學(xué)術(shù)會(huì)議[CYCA'05]論文集[C];2005年

相關(guān)重要報(bào)紙文章 前8條

1 李岳鵬;民爆物品信息化采集系統(tǒng)獲好評[N];中煤地質(zhì)報(bào);2007年

2 侯利平 汪國民 記者劉領(lǐng);校安工程采集系統(tǒng)通過國家級校驗(yàn)[N];錦州日報(bào);2010年

3 朱元旦 黃東;大連市建成統(tǒng)計(jì)數(shù)據(jù)網(wǎng)上采集系統(tǒng)[N];中國信息報(bào);2007年

4 通訊員 鄒爭春 記者 張國圣;交通事故現(xiàn)場信息快速采集系統(tǒng)問世[N];光明日報(bào);2013年

5 中國聯(lián)通太原市分公司設(shè)備維護(hù)中心 周毅;淺談聯(lián)機(jī)計(jì)費(fèi)采集系統(tǒng)的實(shí)現(xiàn)[N];山西科技報(bào);2010年

6 ;網(wǎng)閘中HTTP協(xié)議的剝離與重建原理[N];計(jì)算機(jī)世界;2004年

7 ;社會(huì)化采集系統(tǒng)倍增效能[N];常州日報(bào);2008年

8 通訊員 張春云　陳愛紅;采集系統(tǒng)帶來的變化[N];臨汾日報(bào);2010年

相關(guān)博士學(xué)位論文 前1條

1 董永吉;面向資源優(yōu)化的分層式高速報(bào)文解析技術(shù)研究[D];解放軍信息工程大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 李安琪;HTTP協(xié)議采集系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)與應(yīng)用[D];北京郵電大學(xué);2017年

2 晁志峰;基于城市快速公交BRT的棋盤式道路能量采集系統(tǒng)及關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2015年

3 王旭輝;溫室氣象要素遠(yuǎn)程無線采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 李宇菲;基于DSP的發(fā)動(dòng)機(jī)參數(shù)采集系統(tǒng)的軟件設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

5 陳雯;電信綜合告警采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 王鏵棟;高速模擬采集系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

7 虞瀟鎣;基于CPLD的線陣CCD光譜信息采集系統(tǒng)研究[D];南京郵電大學(xué);2015年

8 朱倩倩;基于FPGA的耐高壓水聲采集系統(tǒng)[D];中北大學(xué);2016年

9 汪瑞;面向高質(zhì)量生物電采集系統(tǒng)的若干研究[D];南京大學(xué);2014年

10 劉委;基于LZW算法的發(fā)動(dòng)機(jī)參數(shù)實(shí)時(shí)采集系統(tǒng)的實(shí)現(xiàn)[D];江蘇大學(xué);2016年

，

本文編號(hào)：2141451