本文關鍵詞：基于飛天云平臺的海量網絡用戶行為分析技術研究

  更多相關文章： 網絡用戶行為分析 飛天云平臺 海量數(shù)據(jù)處理 網頁過濾 用戶屬性信息

【摘要】：隨著信息化的不斷普及,互聯(lián)網越來越成為人們日常生活中不可缺少的一部分。人們在互聯(lián)網上會產生各種各樣的網絡行為。對用戶行為進行分析有助于構建個性化網絡服務、實現(xiàn)更精準的廣告定向和個性化推薦等,因此有越來越多的工作集中于網絡用戶行為的研究。目前,對網絡用戶行為的相關研究大部分是對用戶的行為模式做統(tǒng)計分析,也有一部分工作對用戶訪問內容進行了淺層次的分析,絕大部分工作都是采用的小規(guī)模的用戶行為數(shù)據(jù)。因此,針對大規(guī)模的網絡用戶瀏覽行為數(shù)據(jù)的分析工作還不足,同時缺乏一個針對大規(guī)模用戶行為的分析框架。大規(guī)模用戶行為數(shù)據(jù)的處理涉及海量數(shù)據(jù)的存儲和處理,目前,云平臺是比較常用的解決方案。本文基于飛天分布式云平臺,設計了對海量網絡用戶行為數(shù)據(jù)進行處理和分析的方法,重點解決海量網頁分類過濾時間代價高以及對用戶訪問網頁內容分析層次淺的問題,達到了對海量網絡用戶行為數(shù)據(jù)分析的高效性要求。本文的主要工作包括以下幾點：1.在分析飛天云平臺的基礎上,設計了一個面向海量網絡用戶行為分析系統(tǒng)處理架構。該架構設計了包括網絡用戶行為記錄,網頁內容爬取,網頁清洗與關鍵詞抽取,領域網頁快速過濾,網頁屬性生成,用戶屬性生成,統(tǒng)計分析七個模塊,能夠有效地支撐基于飛天云計算平臺的海量網絡用戶行為分析。后續(xù)的研究工作表明,該框架能夠充分利用飛天的處理能力,實現(xiàn)便捷、高效的數(shù)據(jù)處理服務。2.針對海量網頁分類過濾時間代價高的問題,提出了一個兩階段聯(lián)合過濾的處理策略。飛天平臺搜集的網絡信息中,平均每天的用戶瀏覽網頁數(shù)為一百億,針對使用常規(guī)的領域分類算法進行過濾,時間代價很大的問題,本文采用先經過領域字典粗過濾,再用分類器細過濾的兩階段處理過程,大幅度縮短了處理時間。3.針對目前的研究工作對用戶訪問的網頁內容分析層次淺的不足,提出了基于網絡瀏覽日志提取用戶深層次屬性信息的處理方法。通過構建領域描述,采用多層次分類方法,從用戶瀏覽的頁面中提取相關領域內的類別、子類別等屬性信息。將頁面屬性信息與網頁瀏覽日志數(shù)據(jù)進行聚合操作得到每個用戶的屬性信息。此外,為了能夠方便地對用戶屬性信息進行統(tǒng)計分析,我們對一段時間內的用戶屬性信息進行了空間復雜度較低的增量聚合。本文針對海量網頁數(shù)據(jù)的快速領域過濾和用戶行為屬性信息提取的問題進行了關鍵技術研究,在此基礎上,實現(xiàn)了一個基于飛天的海量網絡用戶行為分析挖掘系統(tǒng),實驗效果表明,本文的技術方案具有有效性和高效性。
【關鍵詞】：網絡用戶行為分析 飛天云平臺 海量數(shù)據(jù)處理 網頁過濾 用戶屬性信息
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP393.09
【目錄】：

• 摘要5-7
• Abs 化 act7-11
• 第一章 緒論11-15
• 1.1 研究背景11-12
• 1.2 研究現(xiàn)狀12-13
• 1.3 本文工作13-14
• 1.4 本文的組織結構14-15
• 第二章 面向海量數(shù)據(jù)處理的飛天云平臺分析15-24
• 2.1 云計算的背景15-16
• 2.1.1 云計算的概念15
• 2.1.2 云計算的分類15-16
• 2.2 飛天云平臺簡介16-20
• 2.2.1 飛天云平臺體系架構16-17
• 2.2.2 飛天云平臺內核17-20
• 2.2.3 飛天云平臺開放服務20
• 2.3 飛天云平臺對海量數(shù)據(jù)處理的支撐20-23
• 2.3.1 飛天云平臺上的數(shù)據(jù)處理作業(yè)設計20-22
• 2.3.2 飛天云平臺上的典型應用案例22
• 2.3.3 飛天云平臺對海量網絡用戶行為數(shù)據(jù)處理的支撐22-23
• 2.4 本章小結23-24
• 第三章 海量網絡用戶行為分析系統(tǒng)設計24-34
• 3.1 網絡用戶行為24-26
• 3.2 網絡用戶行為分析技術研究26-27
• 3.3 汽車領域形態(tài)描述27-28
• 3.4 網絡用戶行為分析系統(tǒng)設計28-33
• 3.4.1 系統(tǒng)框架設計29-30
• 3.4.2 系統(tǒng)各模塊功能30-33
• 3.5 本章小結33-34
• 第四章 基于兩階段聯(lián)合過濾的海量網頁快速過濾34-44
• 4.1 網頁分類的難點34-35
• 4.2 網頁分類方法研究現(xiàn)狀35-37
• 4.3 兩階段聯(lián)合過濾技術37-43
• 4.3.1 預處理38
• 4.3.2 網頁特征生成38-41
• 4.3.3 基于領域字典的粗過濾技術41
• 4.3.4 基于分類的細過濾處理41-42
• 4.3.5 基于飛天云平臺的兩階段過濾實現(xiàn)方案42-43
• 4.3.6 結果分析43
• 4.4 本章小結43-44
• 第五章 基于網絡訪問日志的用戶屬性信息生成44-52
• 5.1 用戶屬性信息生成分析44-45
• 5.1.1 實現(xiàn)目標44
• 5.1.2 用戶屬性信息生成的難點44-45
• 5.1.3 生成用戶屬性的處理思路45
• 5.2 基于飛天云平臺提取頁面屬性信息45-47
• 5.2.1 品牌屬性提取45-46
• 5.2.2 車型屬性提取46
• 5.2.3 級別與價位屬性提取46-47
• 5.3 基于飛天云平臺提取用戶屬性信息47-51
• 5.3.1 單日用戶屬性提取47-49
• 5.3.2 用戶屬性信息增量聚合49-51
• 5.4 本章小結51-52
• 第六章 基于用戶瀏覽信息的車輛關注度分析實踐52-59
• 6.1 實驗環(huán)境與數(shù)據(jù)52
• 6.2 實驗結果可視化展示與分析52-58
• 6.2.1 微觀數(shù)據(jù)展示與分析52-55
• 6.2.2 宏觀數(shù)據(jù)展示與分析55-57
• 6.2.3 潛在感興趣用戶過濾57-58
• 6.3 本章小結58-59
• 第七章 總結與展望59-61
• 7.1 本文工作總結59-60
• 7.2 進一步工作展望60-61
• 參考文獻61-66
• 附錄66-67
• 附錄A—碩士期間發(fā)表的論文66
• 附錄B—碩士期間發(fā)表的專利66
• 附錄C—碩士期間參與的科研項目66-67
• 致謝67-68

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 馬維亮;;用戶行為分析系統(tǒng)在寬帶網絡中的應用[J];科技信息(科學教研);2008年23期

2 喬志偉;;基于用戶行為的3G業(yè)務分析與探討[J];移動通信;2010年12期

3 龔尚福;姜曉旭;;基于用戶行為分析的廣告欺詐點擊檢測[J];計算機應用與軟件;2011年04期

4 陶彩霞;謝曉軍;陳康;郭利榮;劉春;;基于云計算的移動互聯(lián)網大數(shù)據(jù)用戶行為分析引擎設計[J];電信科學;2013年03期

5 毛承潔;張龍;龐川;陳潔敏;;社會網絡服務及其用戶行為分析[J];華南師范大學學報(自然科學版);2013年02期

6 雒江濤;胡燕清;徐孝娜;周進艷;;基于CDMA2000 1x EVDO網絡的用戶行為分析模型設計[J];電視技術;2013年07期

7 許春玲;范志剛;鄭小盈;李明齊;;有線電視用戶行為分析實踐[J];網絡新媒體技術;2014年01期

8 李朝陽;謝傳中;;一種移動互聯(lián)網用戶行為分析系統(tǒng)的頂層設計[J];江西通信科技;2014年01期

9 劉英梅;;大數(shù)據(jù)時代的信息用戶行為分析[J];科技情報開發(fā)與經濟;2014年05期

10 陸群峰;;寬帶上網用戶行為分析[J];有線電視技術;2006年02期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 趙勇;;移動互聯(lián)網用戶行為分析系統(tǒng)技術架構淺析[A];2012全國無線及移動通信學術大會論文集（下）[C];2012年

2 馮銘;王保進;蔡建宇;;基于云計算的可重構移動互聯(lián)網用戶行為分析系統(tǒng)的設計[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

3 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網絡搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學術會議論文集[C];2009年

4 趙艷梅;朱曉燕;;轉變運維模式,迎接移動互聯(lián)網新挑戰(zhàn)[A];中國通信學會信息通信網絡技術委員會2011年年會論文集（上冊）[C];2011年

5 劉奕群;張敏;馬少平;;用戶行為分析在網絡信息檢索中的應用概述[A];全國第八屆計算語言學聯(lián)合學術會議（JSCL-2005）論文集[C];2005年

6 毛翔博;齊觀德;李石堅;潘綱;;基于位置軌跡加權網絡圖的用戶行為分析識別算法[A];第六屆和諧人機環(huán)境聯(lián)合學術會議（HHME2010)、第19屆全國多媒體學術會議（NCMT2010）、第6屆全國人機交互學術會議（CHCI2010）、第5屆全國普適計算學術會議（PCC2010）論文集[C];2010年

7 爾古打機;蘇小龍;朱征;;基于用戶行為分析的移動終端偏好模型研究[A];第八屆（2013）中國管理學年會——商務智能分會場論文集[C];2013年

中國重要報紙全文數(shù)據(jù)庫 前3條

1 譚景華邋楊國良;IP網絡用戶行為分析方法的探討[N];人民郵電;2007年

2 本報記者 逄丹;建設用戶行為分析智慧模型[N];通信產業(yè)報;2010年

3 李中朝邋通訊員 黃偉;重慶電信建成寬帶用戶行為分析系統(tǒng)[N];人民郵電;2007年

中國博士學位論文全文數(shù)據(jù)庫 前6條

1 王琪;新媒體系統(tǒng)中用戶行為分析與系統(tǒng)設計[D];復旦大學;2014年

2 羅海艷;移動用戶網絡行為分析與預測方法研究[D];沈陽農業(yè)大學;2015年

3 劉鵬;網絡用戶行為分析的若干問題研究[D];北京郵電大學;2010年

4 延皓;基于流量監(jiān)測的網絡用戶行為分析[D];北京郵電大學;2011年

5 竇伊男;根據(jù)多維特征的網絡用戶分類研究[D];北京郵電大學;2010年

6 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 江惠彬;基于Web日志的用戶行為分析系統(tǒng)的研究與實現(xiàn)[D];華南理工大學;2015年

2 李亞飛;基于用戶行為分析的冰箱設計研究[D];山東大學;2015年

3 石釗;基于網絡用戶行為分析的用戶推薦反饋系統(tǒng)的設計[D];北京化工大學;2015年

4 李婷蔚;基于移動校園應用的用戶行為分析及性能改進[D];電子科技大學;2014年

5 王穎穎;基于Hadoop的用戶行為分析系統(tǒng)的設計與實現(xiàn)[D];北京工業(yè)大學;2015年

6 馬仕玉;聚類算法及其在校園網用戶行為分析中的應用[D];重慶交通大學;2015年

7 徐娟;基于用戶行為分析的核能領域垂直檢索系統(tǒng)研究[D];合肥工業(yè)大學;2015年

8 陳嘉翼;基于小波聚類的網絡用戶行為分析研究[D];重慶大學;2015年

9 胡曉祥;基于飛天云平臺的海量網絡用戶行為分析技術研究[D];南京大學;2014年

10 周岳;基于興趣分類的用戶行為分析系統(tǒng)的研究與設計[D];北京郵電大學;2010年

，

本文編號：690462