發(fā)布時(shí)間：2018-04-11 23:11

  本文選題：HTTP協(xié)議 + 數(shù)據(jù)分析��； 參考：《哈爾濱工業(yè)大學(xué)》2016年碩士論文

【摘要】：隨著經(jīng)濟(jì)社會的發(fā)展,網(wǎng)絡(luò)深刻地改變和影響著人們各方面的生活習(xí)慣,包括社交、電子商務(wù)、閱讀、知識學(xué)習(xí)等�？萍歼M(jìn)步也導(dǎo)致了網(wǎng)絡(luò)終端接入設(shè)備的增加,個人用戶能夠更加容易接觸網(wǎng)絡(luò)�；ヂ�(lián)網(wǎng)新經(jīng)濟(jì)的崛起,導(dǎo)致人們的網(wǎng)絡(luò)活動完全是現(xiàn)實(shí)生活的縮影。網(wǎng)絡(luò)上的信息量呈現(xiàn)爆炸式增長,在此背景下,通過收集網(wǎng)絡(luò)流量日志,分析某一個IP地址下的網(wǎng)絡(luò)狀況,從而刻畫用戶畫像,以了解各個IP地址的信息以及其下可能存在的用戶數(shù)據(jù)。本系統(tǒng)提出基于HTTP協(xié)議數(shù)據(jù)的分析系統(tǒng),從HTTP協(xié)議的流量信息、報(bào)文信息、正文信息三個方面分析當(dāng)前的網(wǎng)絡(luò)狀況,描述了從IP地址到終端設(shè)備再到用戶個人的網(wǎng)絡(luò)模型。統(tǒng)計(jì)了HTTP協(xié)議中的IP流量信息,設(shè)計(jì)了應(yīng)用于IP地址依據(jù)應(yīng)用服務(wù)劃分的樸素貝葉斯分類模型,在IP地址層面描繪了網(wǎng)絡(luò)狀況。參考了HTTP協(xié)議中User_Agent字段的變動歷史,提出了從User_Agent字段中提取瀏覽器信息、設(shè)備名稱和操作系統(tǒng)的方法,實(shí)現(xiàn)了終端設(shè)備層面的分析。對于用戶層面,解析了HTTP協(xié)議正文,包括JSON格式和HTML格式的數(shù)據(jù),提取了B/S架構(gòu)的軟件和用戶交互時(shí)包含的個人數(shù)據(jù),設(shè)計(jì)了基于HTML格式數(shù)據(jù)的知識學(xué)習(xí)方法以擴(kuò)充提取數(shù)據(jù)所依賴的知識庫信息。在數(shù)據(jù)分析的基礎(chǔ)上,設(shè)計(jì)了信息展示平臺,以Web的形式提供服務(wù),通過jQuery和Bootstrap等前端框架,實(shí)現(xiàn)了簡潔易用友好的界面,采用Tomcat服務(wù)器,Mysql作為數(shù)據(jù)庫,使用MyISAM存儲引擎提高讀寫效率。最后,本文設(shè)計(jì)了對該系統(tǒng)進(jìn)行功能測試和性能測試的方法,在測試階段進(jìn)行了程序調(diào)優(yōu),基本滿足了工業(yè)和警用的要求,整個系統(tǒng)可投入實(shí)際使用運(yùn)行。
[Abstract]:With the development of economy and society, the network profoundly changes and influences people's life habits, including social, electronic commerce, reading, knowledge learning and so on.Advances in technology have also led to an increase in network terminal access devices, making it easier for individual users to access the network.The rise of the new economy of the Internet leads to people's network activities as a microcosm of real life.The amount of information on the network is increasing explosively. In this context, by collecting the network traffic log, analyzing the network condition under a certain IP address, we can depict the portrait of the user.To understand the information of each IP address and the user data that may exist under it.This system proposes an analysis system based on HTTP protocol data, analyzes the current network status from three aspects of HTTP protocol traffic information, message information and text information, and describes the network model from IP address to terminal equipment to user.The IP traffic information in HTTP protocol is analyzed and a naive Bayesian classification model for IP address partitioning based on application services is designed. The network condition is described at the IP address level.Referring to the changing history of User_Agent field in HTTP protocol, the method of extracting browser information, device name and operating system from User_Agent field is put forward, and the analysis of terminal device level is realized.For the user level, the text of HTTP protocol is analyzed, including the data of JSON format and HTML format, and the software of B / S architecture and the personal data of user interaction are extracted.A knowledge learning method based on HTML format data is designed to expand the knowledge base on which the data is extracted.On the basis of data analysis, the information display platform is designed to provide service in the form of Web. Through the front-end framework such as jQuery and Bootstrap, a simple and user-friendly interface is realized. Tomcat server MySQL is used as the database.Use MyISAM storage engine to improve read and write efficiency.Finally, this paper designs the method of function test and performance test for the system, and optimizes the program in the test stage, which basically meets the requirements of industry and police, and the whole system can be put into practical use.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報(bào);2011年04期

2 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

3 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

4 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

5 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術(shù)新產(chǎn)品;2013年17期

6 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年03期

7 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國藥物警戒;2007年04期

8 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國高新技術(shù)企業(yè);2008年08期

9 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

10 章璐;;人民幣跨境結(jié)算業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國金融電腦;2013年01期

相關(guān)會議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學(xué)學(xué)會學(xué)術(shù)年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應(yīng)用[A];中國水力發(fā)電工程學(xué)會信息化專委會2010年學(xué)術(shù)交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會第九次全國檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會議暨中國醫(yī)院協(xié)會臨床檢驗(yàn)管理專業(yè)委員會第六屆全國臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術(shù)與冶金流程節(jié)能減排——全國冶金自動化信息網(wǎng)2008年會論文集[C];2008年

相關(guān)重要報(bào)紙文章 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報(bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競爭力[N];期貨日報(bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國工商報(bào);2007年

8 本報(bào)記者 鞏國強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日報(bào);2004年

相關(guān)碩士學(xué)位論文 前10條

1 夷臻;學(xué)生事務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

3 翟羽佳;萊蕪供電公司經(jīng)營數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 韓繼軍;金卡科技公司業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 龍少杭;基于Storm的實(shí)時(shí)大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

8 余夢然;面向商務(wù)智能的公共交通數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

9 張鵬宇;中國聯(lián)通ERP用戶感知業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 廖寧平;石化企業(yè)數(shù)據(jù)分析系統(tǒng)的開發(fā)及運(yùn)營管理中的應(yīng)用[D];浙江工業(yè)大學(xué);2014年

，

本文編號：1738079