本文選題：DPI + Hadoop��； 參考：《北京郵電大學》2017年碩士論文

【摘要】：伴隨著Internet的高速發(fā)展和Web技術(shù)的不斷升級,人們的日常生活方式越來越多的擱置進Web中。隨著而來的,是大數(shù)據(jù)時代的來臨。大數(shù)據(jù)的來源是龐大的Web用戶群體進行日常網(wǎng)絡訪問時產(chǎn)生的各式各樣的行為,這些用戶行為背后蘊藏著豐富的信息和潛在的價值,對企業(yè)運行經(jīng)營方式產(chǎn)生了巨大影響。運營商通過DPI技術(shù)對網(wǎng)絡流量進行采集分析,并對電商用戶的行為進行分析挖掘,但海量的數(shù)據(jù)對傳統(tǒng)的方法和模型提出了艱巨的挑戰(zhàn)。利用并行計算和分布式存儲技術(shù),Hadoop平臺為海量DPI數(shù)據(jù)的處理提供了解決方案。本文主要目標是利用DPI數(shù)據(jù)為基礎(chǔ)數(shù)據(jù),通過Wireshark工具分析用戶訪問電商的行為,提取電商用戶行為的特征向量,結(jié)合利用爬蟲程序采集的電商商品信息,在Hadoop平臺實現(xiàn)構(gòu)建用戶畫像MapReduce 的程序。本文的研究內(nèi)容主要有以下幾個方面:(1)給出了面向大數(shù)據(jù)的電商用戶行為分析系統(tǒng)的整體設計方案。該系統(tǒng)主要有基礎(chǔ)數(shù)據(jù)采集模塊,DPI數(shù)據(jù)預處理模塊以及用戶行為分析模塊組成。并給出了實現(xiàn)這三個模塊的設計實現(xiàn);(2)基于MapReduce思想的用戶行為特征向量提取方法,根據(jù)用戶地域特征,用戶終端特征,訪問不同網(wǎng)站的情況統(tǒng)計用戶行為;(3)通過DPI和電商商品信息數(shù)據(jù)的聚合,實現(xiàn)了在Hadoop平臺電商用戶畫像多種維度的構(gòu)建;(4)根據(jù)電商用戶畫像,實現(xiàn)了基于ItemBased協(xié)同過濾的用戶興趣推薦模型。
[Abstract]:With the rapid development of Internet and the continuous upgrading of Web technology, more and more people's daily life style is put on the Web. What comes with it is the advent of the big data era. The source of big data is a variety of behaviors that occur when a large group of web users visit the network daily. Behind these user behaviors are abundant information and potential value, which has a great impact on the operation and management of enterprises. Operators collect and analyze network traffic through DPI technology, and analyze and mine the behavior of e-commerce users. However, the huge amount of data poses a formidable challenge to the traditional methods and models. Using the parallel computing and distributed storage technology Hadoop platform provides a solution for mass DPI data processing. The main goal of this paper is to use DPI data as the basic data, analyze the behavior of the user to access the electronic quotient by Wireshark tool, extract the characteristic vector of the user's behavior, and combine the information collected by the crawler program. In Hadoop platform to build a user portrait MapReduce program. The main contents of this paper are as follows: (1) the overall design scheme of big data oriented user behavior analysis system is presented. The system consists of basic data acquisition module, DPI data preprocessing module and user behavior analysis module. The design and implementation of the three modules are given. (2) the method of extracting user behavior feature vector based on MapReduce idea, according to the user regional characteristics, user terminal features, (3) through the aggregation of DPI and e-commerce commodity information data, we have realized the construction of various dimensions of e-commerce user portrait in Hadoop platform; (4) according to e-commerce user portrait, A user interest recommendation model based on Item-based collaborative filtering is implemented.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP393.092;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 徐衛(wèi);陳麗亞;劉功申;;基于用戶行為分析的網(wǎng)站廣告投放策略[J];計算機工程與應用;2006年28期

2 馬維亮;;用戶行為分析系統(tǒng)在寬帶網(wǎng)絡中的應用[J];科技信息(科學教研);2008年23期

3 喬志偉;;基于用戶行為的3G業(yè)務分析與探討[J];移動通信;2010年12期

4 龔尚福;姜曉旭;;基于用戶行為分析的廣告欺詐點擊檢測[J];計算機應用與軟件;2011年04期

5 陶彩霞;謝曉軍;陳康;郭利榮;劉春;;基于云計算的移動互聯(lián)網(wǎng)大數(shù)據(jù)用戶行為分析引擎設計[J];電信科學;2013年03期

6 毛承潔;張龍;龐川;陳潔敏;;社會網(wǎng)絡服務及其用戶行為分析[J];華南師范大學學報(自然科學版);2013年02期

7 雒江濤;胡燕清;徐孝娜;周進艷;;基于CDMA2000 1x EVDO網(wǎng)絡的用戶行為分析模型設計[J];電視技術(shù);2013年07期

8 許春玲;范志剛;鄭小盈;李明齊;;有線電視用戶行為分析實踐[J];網(wǎng)絡新媒體技術(shù);2014年01期

9 李朝陽;謝傳中;;一種移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的頂層設計[J];江西通信科技;2014年01期

10 劉英梅;;大數(shù)據(jù)時代的信息用戶行為分析[J];科技情報開發(fā)與經(jīng)濟;2014年05期

相關(guān)會議論文 前9條

1 趙勇;;移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)技術(shù)架構(gòu)淺析[A];2012全國無線及移動通信學術(shù)大會論文集（下）[C];2012年

2 馮銘;王保進;蔡建宇;;基于云計算的可重構(gòu)移動互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的設計[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術(shù)會議論文集[C];2011年

3 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

4 趙艷梅;朱曉燕;;轉(zhuǎn)變運維模式,迎接移動互聯(lián)網(wǎng)新挑戰(zhàn)[A];中國通信學會信息通信網(wǎng)絡技術(shù)委員會2011年年會論文集（上冊）[C];2011年

5 劉奕群;張敏;馬少平;;用戶行為分析在網(wǎng)絡信息檢索中的應用概述[A];全國第八屆計算語言學聯(lián)合學術(shù)會議（JSCL-2005）論文集[C];2005年

6 毛翔博;齊觀德;李石堅;潘綱;;基于位置軌跡加權(quán)網(wǎng)絡圖的用戶行為分析識別算法[A];第六屆和諧人機環(huán)境聯(lián)合學術(shù)會議（HHME2010)、第19屆全國多媒體學術(shù)會議（NCMT2010）、第6屆全國人機交互學術(shù)會議（CHCI2010）、第5屆全國普適計算學術(shù)會議（PCC2010）論文集[C];2010年

7 爾古打機;蘇小龍;朱征;;基于用戶行為分析的移動終端偏好模型研究[A];第八屆（2013）中國管理學年會——商務智能分會場論文集[C];2013年

8 董靜梅;陳佩杰;;過度訓練對大鼠中性粒細胞呼吸爆發(fā)及吞噬功能的影響及DPI的干預作用[A];第九屆全國體育科學大會論文摘要匯編(4)[C];2011年

9 阮驪韜;王勝智;艾紅;白筠菲;;DPI和超聲造影在直腸結(jié)腸癌肝轉(zhuǎn)移診斷中的價值[A];中國超聲醫(yī)學工程學會第八屆全國腹部超聲學術(shù)會議論文匯編[C];2010年

相關(guān)重要報紙文章 前4條

1 譚景華邋楊國良;IP網(wǎng)絡用戶行為分析方法的探討[N];人民郵電;2007年

2 本報記者 逄丹;建設用戶行為分析智慧模型[N];通信產(chǎn)業(yè)報;2010年

3 朱杰;DPI：打造智能服務網(wǎng)絡[N];中國計算機報;2007年

4 本報記者 高賽;2400dpi能否挽救掃描儀行業(yè)[N];光明日報;2005年

相關(guān)博士學位論文 前6條

1 王琪;新媒體系統(tǒng)中用戶行為分析與系統(tǒng)設計[D];復旦大學;2014年

2 羅海艷;移動用戶網(wǎng)絡行為分析與預測方法研究[D];沈陽農(nóng)業(yè)大學;2015年

3 劉鵬;網(wǎng)絡用戶行為分析的若干問題研究[D];北京郵電大學;2010年

4 延皓;基于流量監(jiān)測的網(wǎng)絡用戶行為分析[D];北京郵電大學;2011年

5 竇伊男;根據(jù)多維特征的網(wǎng)絡用戶分類研究[D];北京郵電大學;2010年

6 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

相關(guān)碩士學位論文 前10條

1 李子森;基于電信DPI數(shù)據(jù)的電商用戶行為分析[D];北京郵電大學;2017年

2 江惠彬;基于Web日志的用戶行為分析系統(tǒng)的研究與實現(xiàn)[D];華南理工大學;2015年

3 李亞飛;基于用戶行為分析的冰箱設計研究[D];山東大學;2015年

4 石釗;基于網(wǎng)絡用戶行為分析的用戶推薦反饋系統(tǒng)的設計[D];北京化工大學;2015年

5 李婷蔚;基于移動校園應用的用戶行為分析及性能改進[D];電子科技大學;2014年

6 王穎穎;基于Hadoop的用戶行為分析系統(tǒng)的設計與實現(xiàn)[D];北京工業(yè)大學;2015年

7 馬仕玉;聚類算法及其在校園網(wǎng)用戶行為分析中的應用[D];重慶交通大學;2015年

8 徐娟;基于用戶行為分析的核能領(lǐng)域垂直檢索系統(tǒng)研究[D];合肥工業(yè)大學;2015年

9 胡曉祥;基于飛天云平臺的海量網(wǎng)絡用戶行為分析技術(shù)研究[D];南京大學;2014年

10 汪傳章;基于博弈論的云用戶行為分析預測模型研究與分析[D];東華理工大學;2016年

，

本文編號：2061974