本文選題：DPI + Hadoop　； 參考：《北京郵電大學(xué)》2017年碩士論文

【摘要】：伴隨著Internet的高速發(fā)展和Web技術(shù)的不斷升級,人們的日常生活方式越來越多的擱置進Web中。隨著而來的,是大數(shù)據(jù)時代的來臨。大數(shù)據(jù)的來源是龐大的Web用戶群體進行日常網(wǎng)絡(luò)訪問時產(chǎn)生的各式各樣的行為,這些用戶行為背后蘊藏著豐富的信息和潛在的價值,對企業(yè)運行經(jīng)營方式產(chǎn)生了巨大影響。運營商通過DPI技術(shù)對網(wǎng)絡(luò)流量進行采集分析,并對電商用戶的行為進行分析挖掘,但海量的數(shù)據(jù)對傳統(tǒng)的方法和模型提出了艱巨的挑戰(zhàn)。利用并行計算和分布式存儲技術(shù),Hadoop平臺為海量DPI數(shù)據(jù)的處理提供了解決方案。本文主要目標是利用DPI數(shù)據(jù)為基礎(chǔ)數(shù)據(jù),通過Wireshark工具分析用戶訪問電商的行為,提取電商用戶行為的特征向量,結(jié)合利用爬蟲程序采集的電商商品信息,在Hadoop平臺實現(xiàn)構(gòu)建用戶畫像MapReduce 的程序。本文的研究內(nèi)容主要有以下幾個方面:(1)給出了面向大數(shù)據(jù)的電商用戶行為分析系統(tǒng)的整體設(shè)計方案。該系統(tǒng)主要有基礎(chǔ)數(shù)據(jù)采集模塊,DPI數(shù)據(jù)預(yù)處理模塊以及用戶行為分析模塊組成。并給出了實現(xiàn)這三個模塊的設(shè)計實現(xiàn);(2)基于MapReduce思想的用戶行為特征向量提取方法,根據(jù)用戶地域特征,用戶終端特征,訪問不同網(wǎng)站的情況統(tǒng)計用戶行為;(3)通過DPI和電商商品信息數(shù)據(jù)的聚合,實現(xiàn)了在Hadoop平臺電商用戶畫像多種維度的構(gòu)建;(4)根據(jù)電商用戶畫像,實現(xiàn)了基于ItemBased協(xié)同過濾的用戶興趣推薦模型。
[Abstract]:With the rapid development of Internet and the continuous upgrading of Web technology, more and more people's daily life style is put on the Web. What comes with it is the advent of the big data era. The source of big data is a variety of behaviors that occur when a large group of web users visit the network daily. Behind these user behaviors are abundant information and potential value, which has a great impact on the operation and management of enterprises. Operators collect and analyze network traffic through DPI technology, and analyze and mine the behavior of e-commerce users. However, the huge amount of data poses a formidable challenge to the traditional methods and models. Using the parallel computing and distributed storage technology Hadoop platform provides a solution for mass DPI data processing. The main goal of this paper is to use DPI data as the basic data, analyze the behavior of the user to access the electronic quotient by Wireshark tool, extract the characteristic vector of the user's behavior, and combine the information collected by the crawler program. In Hadoop platform to build a user portrait MapReduce program. The main contents of this paper are as follows: (1) the overall design scheme of big data oriented user behavior analysis system is presented. The system consists of basic data acquisition module, DPI data preprocessing module and user behavior analysis module. The design and implementation of the three modules are given. (2) the method of extracting user behavior feature vector based on MapReduce idea, according to the user regional characteristics, user terminal features, (3) through the aggregation of DPI and e-commerce commodity information data, we have realized the construction of various dimensions of e-commerce user portrait in Hadoop platform; (4) according to e-commerce user portrait, A user interest recommendation model based on Item-based collaborative filtering is implemented.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP393.092;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 徐衛(wèi);陳麗亞;劉功申;;基于用戶行為分析的網(wǎng)站廣告投放策略[J];計算機工程與應(yīng)用;2006年28期

2 馬維亮;;用戶行為分析系統(tǒng)在寬帶網(wǎng)絡(luò)中的應(yīng)用[J];科技信息(科學(xué)教研);2008年23期

3 喬志偉;;基于用戶行為的3G業(yè)務(wù)分析與探討[J];移動通信;2010年12期

4 龔尚福;姜曉旭;;基于用戶行為分析的廣告欺詐點擊檢測[J];計算機應(yīng)用與軟件;2011年04期

5 陶彩霞;謝曉軍;陳康;郭利榮;劉春;;基于云計算的移動互聯(lián)網(wǎng)大數(shù)據(jù)用戶行為分析引擎設(shè)計[J];電信科學(xué);2013年03期

6 毛承潔;張龍;龐川;陳潔敏;;社會網(wǎng)絡(luò)服務(wù)及其用戶行為分析[J];華南師范大學(xué)學(xué)報(自然科學(xué)版);2013年02期

7 雒江濤;胡燕清;徐孝娜;周進艷;;基于CDMA2000 1x EVDO網(wǎng)絡(luò)的用戶行為分析模型設(shè)計[J];電視技術(shù);2013年07期

8 許春玲;范志剛;鄭小盈;李明齊;;有線電視用戶行為分析實踐[J];網(wǎng)絡(luò)新媒體技術(shù);2014年01期

9 李朝陽;謝傳中;;一種移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的頂層設(shè)計[J];江西通信科技;2014年01期

10 劉英梅;;大數(shù)據(jù)時代的信息用戶行為分析[J];科技情報開發(fā)與經(jīng)濟;2014年05期

相關(guān)會議論文 前9條

1 趙勇;;移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)技術(shù)架構(gòu)淺析[A];2012全國無線及移動通信學(xué)術(shù)大會論文集（下）[C];2012年

2 馮銘;王保進;蔡建宇;;基于云計算的可重構(gòu)移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的設(shè)計[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

3 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡(luò)搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

4 趙艷梅;朱曉燕;;轉(zhuǎn)變運維模式,迎接移動互聯(lián)網(wǎng)新挑戰(zhàn)[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（上冊）[C];2011年

5 劉奕群;張敏;馬少平;;用戶行為分析在網(wǎng)絡(luò)信息檢索中的應(yīng)用概述[A];全國第八屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議（JSCL-2005）論文集[C];2005年

6 毛翔博;齊觀德;李石堅;潘綱;;基于位置軌跡加權(quán)網(wǎng)絡(luò)圖的用戶行為分析識別算法[A];第六屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

7 爾古打機;蘇小龍;朱征;;基于用戶行為分析的移動終端偏好模型研究[A];第八屆（2013）中國管理學(xué)年會——商務(wù)智能分會場論文集[C];2013年

8 董靜梅;陳佩杰;;過度訓(xùn)練對大鼠中性粒細胞呼吸爆發(fā)及吞噬功能的影響及DPI的干預(yù)作用[A];第九屆全國體育科學(xué)大會論文摘要匯編(4)[C];2011年

9 阮驪韜;王勝智;艾紅;白筠菲;;DPI和超聲造影在直腸結(jié)腸癌肝轉(zhuǎn)移診斷中的價值[A];中國超聲醫(yī)學(xué)工程學(xué)會第八屆全國腹部超聲學(xué)術(shù)會議論文匯編[C];2010年

相關(guān)重要報紙文章 前4條

1 譚景華邋楊國良;IP網(wǎng)絡(luò)用戶行為分析方法的探討[N];人民郵電;2007年

2 本報記者 逄丹;建設(shè)用戶行為分析智慧模型[N];通信產(chǎn)業(yè)報;2010年

3 朱杰;DPI：打造智能服務(wù)網(wǎng)絡(luò)[N];中國計算機報;2007年

4 本報記者 高賽;2400dpi能否挽救掃描儀行業(yè)[N];光明日報;2005年

相關(guān)博士學(xué)位論文 前6條

1 王琪;新媒體系統(tǒng)中用戶行為分析與系統(tǒng)設(shè)計[D];復(fù)旦大學(xué);2014年

2 羅海艷;移動用戶網(wǎng)絡(luò)行為分析與預(yù)測方法研究[D];沈陽農(nóng)業(yè)大學(xué);2015年

3 劉鵬;網(wǎng)絡(luò)用戶行為分析的若干問題研究[D];北京郵電大學(xué);2010年

4 延皓;基于流量監(jiān)測的網(wǎng)絡(luò)用戶行為分析[D];北京郵電大學(xué);2011年

5 竇伊男;根據(jù)多維特征的網(wǎng)絡(luò)用戶分類研究[D];北京郵電大學(xué);2010年

6 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 李子森;基于電信DPI數(shù)據(jù)的電商用戶行為分析[D];北京郵電大學(xué);2017年

2 江惠彬;基于Web日志的用戶行為分析系統(tǒng)的研究與實現(xiàn)[D];華南理工大學(xué);2015年

3 李亞飛;基于用戶行為分析的冰箱設(shè)計研究[D];山東大學(xué);2015年

4 石釗;基于網(wǎng)絡(luò)用戶行為分析的用戶推薦反饋系統(tǒng)的設(shè)計[D];北京化工大學(xué);2015年

5 李婷蔚;基于移動校園應(yīng)用的用戶行為分析及性能改進[D];電子科技大學(xué);2014年

6 王穎穎;基于Hadoop的用戶行為分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京工業(yè)大學(xué);2015年

7 馬仕玉;聚類算法及其在校園網(wǎng)用戶行為分析中的應(yīng)用[D];重慶交通大學(xué);2015年

8 徐娟;基于用戶行為分析的核能領(lǐng)域垂直檢索系統(tǒng)研究[D];合肥工業(yè)大學(xué);2015年

9 胡曉祥;基于飛天云平臺的海量網(wǎng)絡(luò)用戶行為分析技術(shù)研究[D];南京大學(xué);2014年

10 汪傳章;基于博弈論的云用戶行為分析預(yù)測模型研究與分析[D];東華理工大學(xué);2016年

，

本文編號：2061974