隨著ADSL寬帶網(wǎng)絡(luò)技術(shù)的發(fā)展,ADSL網(wǎng)絡(luò)用戶數(shù)量逐年增加；與此同時,借助于移動網(wǎng)絡(luò)的升級和智能手機(jī)的推廣,移動互聯(lián)網(wǎng)也發(fā)展迅猛,用戶增長強勁。網(wǎng)絡(luò)已經(jīng)成為了我們生活中不可缺少的一部分。網(wǎng)絡(luò)是龐大的,更是復(fù)雜的,不論是對新興的移動互聯(lián)網(wǎng)還是不斷升級的ADSL寬帶網(wǎng)絡(luò)都還有認(rèn)識不全面之處。而網(wǎng)絡(luò)流量監(jiān)測技術(shù)則是一把打開網(wǎng)絡(luò)流量分析大門的鑰匙,將網(wǎng)絡(luò)流量監(jiān)控技術(shù)獲取的海量網(wǎng)絡(luò)流量信息,與云計算、數(shù)據(jù)挖掘技術(shù)相結(jié)合,可以深入分析和挖掘網(wǎng)絡(luò)的流量特征和用戶特征。建立網(wǎng)絡(luò)模型,為網(wǎng)絡(luò)的設(shè)計和優(yōu)化提供參考；并深入挖掘用戶的上網(wǎng)行為和偏好行為,掌握用戶的偏好行為,依據(jù)用戶的偏好推薦更多優(yōu)質(zhì)的網(wǎng)絡(luò)內(nèi)容。本文的主要研究內(nèi)容和創(chuàng)新點如下：（1）將基于Hadoop的云計算技術(shù)引入海量網(wǎng)絡(luò)流量分析領(lǐng)域,創(chuàng)新性的將數(shù)據(jù)挖掘的關(guān)鍵算法、Hadoop云計算平臺和海量網(wǎng)絡(luò)流量分析相結(jié)合,構(gòu)建了基于Hadoop云計算平臺的海量網(wǎng)絡(luò)流量分析系統(tǒng)。系統(tǒng)實現(xiàn)了對海量網(wǎng)絡(luò)流量數(shù)據(jù)的分布式存儲和高效準(zhǔn)確的數(shù)據(jù)挖掘。研究的關(guān)鍵算法有：分類算法對海量流量進(jìn)行分類,聚類算法研究用戶的行為偏好,推薦算法根據(jù)用戶偏好推薦�；贖adoo... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：168 頁

【學(xué)位級別】：博士

【部分圖文】：

中國手機(jī)應(yīng)用使用率⑴

圖2-5 HDFS架構(gòu)圖件系統(tǒng)主要結(jié)構(gòu)和功能如下所示：meNode：為主節(jié)點，負(fù)責(zé)管理HDFS文件系統(tǒng)。ondary NameNode：為備份主節(jié)點，是NameNode的備份節(jié)taNode：為數(shù)據(jù)存儲節(jié)點，負(fù)責(zé)HDFS文件系統(tǒng)中數(shù)據(jù)的保

本文提出了基于Hadoop云計算的處理海量移動互聯(lián)網(wǎng)URL流量的網(wǎng)站分類系統(tǒng)架構(gòu)，其系統(tǒng)架構(gòu)圖如圖3-2所示。本文設(shè)計的架構(gòu)，研宄了業(yè)界云計算系統(tǒng)，并結(jié)合移動互聯(lián)網(wǎng)URL網(wǎng)站分類的具體需求，形成了一套移動互聯(lián)網(wǎng)網(wǎng)站分類技術(shù)框架，同時圖3-2也對具體網(wǎng)站分類任務(wù)的執(zhí)行方式進(jìn)行了描述�；贖adoop云計算的移動互聯(lián)網(wǎng)網(wǎng)站分類系統(tǒng)的分析架構(gòu)分為七層：數(shù)據(jù)導(dǎo)入層，文件存儲層，數(shù)據(jù)存儲層，編程模型層，數(shù)據(jù)分析層，上層應(yīng)用和系統(tǒng)管理層。層與層之間相互協(xié)作，相互補充，共同完成了移動互聯(lián)網(wǎng)網(wǎng)站分類的任務(wù)。該系統(tǒng)七層架構(gòu)的詳細(xì)介紹如下所示。1.數(shù)據(jù)導(dǎo)入層：數(shù)據(jù)導(dǎo)入層位于整個分類系統(tǒng)的最底層，是建立系統(tǒng)和外部之間關(guān)系的紐帶

【參考文獻(xiàn)】：
期刊論文
[1]淺析二項分布、泊松分布和正態(tài)分布之間的關(guān)系[J]. 于洋.  企業(yè)科技與發(fā)展. 2008(20)
[2]個性化推薦算法設(shè)計[J]. 趙亮,胡乃靜,張守志.  計算機(jī)研究與發(fā)展. 2002(08)

碩士論文
[1]網(wǎng)絡(luò)用戶行為分析研究及其應(yīng)用[D]. 董富強.西安電子科技大學(xué) 2005



本文編號：3102660