發(fā)布時間：2018-08-26 07:01

【摘要】：web數(shù)據(jù)含有用戶網(wǎng)絡訪問模式的豐富信息,挖掘web數(shù)據(jù)對于用戶的網(wǎng)絡行為分析具有重大意義。本文研究的web數(shù)據(jù)來源于兩部分,一是國內某運營商提供的基于DPI包檢測技術獲得的網(wǎng)絡流數(shù)據(jù),主要是用戶web日志數(shù)據(jù);二是利用網(wǎng)絡爬蟲程序抓取的網(wǎng)頁數(shù)據(jù)�；谶@兩種web數(shù)據(jù),分析了電商和汽車網(wǎng)站用戶的網(wǎng)絡行為。(1)電商行業(yè)的用戶網(wǎng)絡行為分析。主要以京東、天貓、國美、蘇寧這四個電商網(wǎng)站的用戶為研究對象,利用MapReduce基本統(tǒng)計分析方法,分析這四個電商網(wǎng)站的用戶對具體商品的訪問行為,主要包括對商品的瀏覽、搜索和加購物車等行為。采用BulkLoad工具將電商用戶行為數(shù)據(jù)批量導入HBase表中,解決了數(shù)據(jù)逐條導入而頻繁IO、GC操作造成的系統(tǒng)響應變慢、節(jié)點超時退出等問題,增加了集群系統(tǒng)的穩(wěn)定性、提高了數(shù)據(jù)入庫效率。最后通過編寫HBase數(shù)據(jù)查詢接口,對電商用戶的行為數(shù)據(jù)進行定制化查詢,即可根據(jù)指定條件對用戶行為集中查詢和分析。(2)分析汽車行業(yè)的用戶網(wǎng)絡行為。主要以長安福特汽車品牌下的銳界車系為研究樣例,使用AprioriAll序列模式挖掘算法得到用戶訪問汽車網(wǎng)站的頻繁序列集,分析對銳界車系感興趣的用戶傾向在哪些汽車網(wǎng)站(排名靠前的15個汽車網(wǎng)站)上獲取銳界相關信息,以及對這些網(wǎng)站的訪問先后次序又是怎樣的;再利用MapReduce統(tǒng)計特性和RESTful API技術對用戶的站點訪問情況以及興趣標簽等信息進行可視化分析。其中,用到正則表達式提取汽車用戶數(shù)據(jù),通過RegexBuddy工具調試和優(yōu)化正則表達式,并結合數(shù)據(jù)的Hash存儲特性,使得數(shù)據(jù)提取程序的時間復雜度由O(N)降為O(1),提高了程序運行效率。本文的研究結果在一定意義上,能夠給特定商品和特定汽車的網(wǎng)絡經(jīng)銷商或者廣告商在用戶群體定位、廣告精準投放或交叉推送等方面提供參考意見。
[Abstract]:Web data contains abundant information of user's network access pattern. Mining web data is of great significance to user's network behavior analysis. The web data in this paper come from two parts, one is the network stream data based on DPI packet detection technology provided by a domestic operator, mainly the user web log data, and the other is the web page data captured by the web crawler program. Based on these two kinds of web data, the network behavior of the users of e-commerce and automotive websites is analyzed. (1) the network behavior of users in e-commerce industry is analyzed. Mainly taking the users of four ecommerce websites JingDong, Tmall, Gome and Su Ning as research objects, and using the basic statistical analysis method of MapReduce, to analyze the visit behavior of the users of these four ecommerce websites to specific commodities, mainly including the browsing of commodities. Search and shopping cart, etc. The BulkLoad tool is used to import the user behavior data into the HBase table in batches, which solves the problems such as the slow response caused by the frequent IO,GC operation and the node time-out, which increases the stability of the cluster system. The efficiency of data storage is improved. Finally, through compiling HBase data query interface, the behavior data of e-commerce users can be customized queried and analyzed according to the specified conditions. (2) analyzing the behavior of users in automobile industry. Taking the sharp boundary vehicle system under the Changan Ford brand as the research example, the frequent sequence set of users visiting the automobile website is obtained by using AprioriAll sequence pattern mining algorithm. Analyze which automobile websites (the top 15 auto websites) that interested users tend to obtain relevant information, and what is the order of visits to these websites; Then, the user's site access and interest tags are analyzed visually by using MapReduce statistics and RESTful API technology. Among them, the regular expression is used to extract the automobile user data, the regular expression is debugged and optimized by RegexBuddy tool, and combined with the Hash storage characteristic of the data, the time complexity of the data extraction program is reduced from O (N) to O (1), and the running efficiency of the program is improved. To a certain extent, the results of this paper can provide reference to the network dealers or advertisers of specific commodities and vehicles in terms of user group positioning, accurate advertising delivery or cross-push, and so on.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13;TP393.09

【相似文獻】

相關期刊論文 前10條

1 肖凱;;用戶網(wǎng)絡簡化發(fā)展的構想與實現(xiàn)[J];數(shù)字通信世界;2008年03期

2 唐玉麟,王雄;光纖用戶網(wǎng)絡發(fā)展評述[J];光通信技術;1991年Z1期

3 秦賓;個人用戶網(wǎng)絡的安全隱患與防范[J];現(xiàn)代通信;2001年09期

4 王景欣;袁堅;耿軍偉;馮振明;;移動互聯(lián)網(wǎng)基于用戶網(wǎng)絡結構的信息過濾機制[J];計算機科學;2011年S1期

5 胡剛,曹曉敏,沈雁;用戶網(wǎng)絡行為習慣模型[J];指揮技術學院學報;2000年03期

6 周德仿;用戶網(wǎng)絡行為與個性化服務研究[J];電機電器技術;2004年02期

7 楊振;;實達——滄海服務器[J];電子測試;2001年02期

8 劉國剛;由單用戶版上升為多用戶網(wǎng)絡版應解決的幾個主要問題[J];電子技術應用;1997年05期

9 姜永;胡博;陳山枝;;異構無線網(wǎng)絡用戶網(wǎng)絡關聯(lián)優(yōu)化:一種基于群體博弈的方法[J];計算機學報;2012年06期

10 陳曉玲;;關于提升寬帶用戶網(wǎng)絡質量滿意度的策略探析[J];電子技術與軟件工程;2013年21期

相關會議論文 前10條

1 劉正濤;毛宇光;應毅;;基于Web服務的分布式Web應用框架研究[A];第一屆全國Web信息系統(tǒng)及其應用會議（WISA2004）論文集[C];2004年

2 戴琦;;Web上的數(shù)據(jù)挖掘[A];全國計算機網(wǎng)絡應用年會論文集（2001）[C];2001年

3 王衛(wèi);;基于Web的數(shù)據(jù)庫應用[A];第十八屆中國（天津）’2004IT、網(wǎng)絡、信息技術、電子、儀器儀表創(chuàng)新學術會議論文集[C];2004年

4 張默;廖湖聲;杜金蓮;;基于Web服務的開放式地理信息系統(tǒng)的研究[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

5 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設計與實現(xiàn)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

6 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設計與實現(xiàn)[A];2012年MIS/S&A學術交流會議論文集[C];2012年

7 李勤;;基于WEB的計算機模擬病例考試系統(tǒng)在全科醫(yī)師培訓實踐能力測試中應用研究[A];2012年浙江省全科醫(yī)學學術年會論文匯編[C];2012年

8 黃海林;孫向陽;;基于Web的大學物理試題管理系統(tǒng)的設計[A];湖北省物理學會、武漢物理學會成立70周年慶典暨2002年學術年會論文集[C];2002年

9 于莉莉;張毅;;基于Web的人力資源管理系統(tǒng)研究與設計[A];2008全國制造業(yè)信息化標準化論壇論文集[C];2008年

10 李中華;;企業(yè)Web應用安全威脅與防護[A];創(chuàng)新·融合·發(fā)展——創(chuàng)新型煤炭企業(yè)發(fā)展與信息化高峰論壇論文集[C];2010年

相關重要報紙文章 前10條

1 本報記者 劉繼安;準備好了嗎？WEB教師[N];中國教育報;2001年

2 張承東;Web智能考核廣告[N];網(wǎng)絡世界;2009年

3 本報記者 張楠;中國用戶網(wǎng)絡防護措施依舊不夠[N];中國計算機報;2012年

4 科訊;WEB教師——一個全新職業(yè)的透析[N];科技日報;2001年

5 王雅麗;博客社區(qū)齊上陣 銀行借Web 2.0拉攏未來客戶[N];中國計算機報;2008年

6 本報記者 黃智軍;Web應用呼喚新型安全系統(tǒng)[N];計算機世界;2009年

7 李鵬;不只要求速度[N];中國計算機報;2004年

8 居易;WEB教師熱門起來[N];組織人事報;2001年

9 本報記者 趙曉濤;四問“Web防御與云安全”[N];網(wǎng)絡世界;2008年

10 本報記者 徐恒;手機瀏覽器：競爭不斷加劇 Web大勢所趨[N];中國電子報;2009年

相關博士學位論文 前10條

1 李世黨;面向B4G/5G無線網(wǎng)絡的干擾對齊與干擾管理技術研究[D];東南大學;2016年

2 萬志遠;Web應用程序漏洞檢測關鍵技術研究[D];浙江大學;2014年

3 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學;2015年

4 張璞;Web評論文本情感分類方法研究[D];重慶大學;2015年

5 劉維東;Web短文本知識關聯(lián)模型及其語義連貫計算方法[D];上海大學;2016年

6 孫慧峰;基于協(xié)同過濾的個性化Web推薦[D];北京郵電大學;2012年

7 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學;2007年

8 張建武;面向Web應用的安全評測技術研究[D];北京郵電大學;2012年

9 龍慧云;基于進程代數(shù)的Web服務數(shù)據(jù)和組合的形式化方法研究[D];貴州大學;2009年

10 孫濤;面向市場情報分析的Web實體事件融合問題研究[D];山東大學;2014年

相關碩士學位論文 前10條

1 彭員英;基于web數(shù)據(jù)的特定行業(yè)用戶網(wǎng)絡行為分析[D];北京郵電大學;2017年

2 王曉月;基于WiFi用戶網(wǎng)絡行為的信息推送系統(tǒng)設計[D];大連海事大學;2015年

3 陶源;基于覓食理論的學術用戶網(wǎng)絡信息查尋策略研究[D];西南大學;2014年

4 解索非;基于復雜網(wǎng)絡理論的微信用戶網(wǎng)絡特性研究[D];重慶大學;2016年

5 趙思;公交車載WiFi用戶網(wǎng)絡行為分析[D];華中科技大學;2016年

6 馬麗嬌;用戶網(wǎng)絡行為分析系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2014年

7 王一凡;協(xié)作多用戶網(wǎng)絡的傳輸方案設計和優(yōu)化[D];北京郵電大學;2017年

8 胡靜;基于3G核心網(wǎng)數(shù)據(jù)的用戶網(wǎng)絡行為識別技術研究[D];電子科技大學;2017年

9 李林蓉;基于Restful和OSGI的Web應用轉換容器的研究與實現(xiàn)[D];華南理工大學;2015年

10 陳彬彬;基于QoS隨機性的Web服務質量偏離監(jiān)測方法研究與實現(xiàn)[D];昆明理工大學;2015年

，

本文編號：2204088