本文關鍵詞：移動互聯網大規(guī)模流量數據分布式處理與流量分析，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著移動互聯網的發(fā)展,移動互聯網逐漸超過PC平臺,成為互聯網的主要入口,并且因其的移動性,成為了咨詢、社交、貿易、游戲等等各種行業(yè)的信息交流中心。相應的,移動互聯網的市場也在逐漸擴大。移動互聯網的快速發(fā)展,使得研究移動互聯網的特性,發(fā)現移動互聯網與傳統(tǒng)有線網絡的區(qū)別成為了急需解決的問題。有線網已經被證明其分布具有復雜網絡的冪律特性,移動互聯網是否有復雜網絡的相關特性或者其他特性,這些特性能否進一步被應用與流量識別等領域都需要研究。此外移動互聯網豐富繁多的應用也是其一大特點,移動互聯網中應用的作用,應用與流量,應用與網絡和用戶的關系都亟需研究。 但手機網民的快速增長和移動互聯網使用的增多,帶來了大量的移動互聯網數據,每日記錄的流量數據以GB甚至TB速度增長,如何處理大規(guī)模的數據,從中挖掘出有用的信息,成為了必須要面對的問題,而分布式處理技術對此提供了廉價可靠的解決思路。傳統(tǒng)的機器學習算法已經證明了其在很多領域可以發(fā)揮巨大的作用,但面對移動互聯網大規(guī)模的數據量,傳統(tǒng)的機器學習算法需要分布式實現才能應用于現有的數據。流量識別也是網絡的研究熱點之一。傳統(tǒng)的流量識別是通過分析包數據實現的,未關注流量之間的聯系。能否分析挖掘移動互聯網數據,發(fā)現流量的關系,為流量識別提出新思路也是本文研究的重點之一。 本文針對移動互聯網特性復雜網絡特性不明的問題,研究分析了移動互聯網的特性,發(fā)現了用戶交互對流量貢獻的以及服務器的集中性。針對DBSCAN分布式算法通信量過大的問題,提出了優(yōu)化方法,在不影響聚類結果的前提下,降低了通信量同時也降低了計算量。針對傳統(tǒng)流量識別技術未關注流量圖中的互相聯系的問題,通過研究分析得出流量圖服務器的聚類特性,并且服務器具有很高的純潔度,提出了流量識別問題可以轉為對服務器的識別,并通過聚類算法對服務器進行了聚類及識別,結果顯示有很高的正確率。
【關鍵詞】：分布式處理 聚類算法 移動互聯網 流量識別
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TN929.5;TP393.01
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.2 國內外研究現狀10-12
• 1.3 本文的組織結構12-14
• 第二章 分布式處理14-21
• 2.1 MapReduc編程模型14-16
• 2.2 圖分布式計算16-19
• 2.3 廣度優(yōu)先遍歷19-21
• 第三章 流量數據及其基本特性21-31
• 3.1 網絡流量數據與建圖21-22
• 3.2 流量圖的度分布22-24
• 3.3 流量圖的特性24-31
• 3.3.0 流量圖基本屬性24-25
• 3.3.1 用戶和流量的分布輪廓25-26
• 3.3.2 流量圖的度分布26-28
• 3.3.3 流量圖的強度分布28-30
• 3.3.4 服務器集中度的增長特性30-31
• 第四章 分布式聚類算法與服務器識別31-44
• 4.1 DBSCAN算法的分布式實現31-34
• 4.2 服務器的特性34-40
• 4.2.1 不同類型應用流量圖的基本屬性34-35
• 4.2.2 服務器提供的應用數35
• 4.2.3 服務器拓撲結構的相似性與多樣性35-38
• 4.2.4 應用內部的聚類特性38-39
• 4.2.5 服務器行為39-40
• 4.3 分布式kmeans與結果分析40-44
• 4.3.1 分布式kmeans算法的實現與應用40-41
• 4.3.2 結果分析41-44
• 第五章 總結與展望44-45
• 5.1 總結44
• 5.2 對未來的展望44-45
• 參考文獻45-47
• 致謝47

【參考文獻】

中國期刊全文數據庫 前6條

1 於躍成;王建東;鄭關勝;陳斌;;基于約束信息的并行k-means算法[J];東南大學學報(自然科學版);2011年03期

2 蔡君;余順爭;;基于復雜網絡社團劃分的網絡流量分類[J];計算機科學;2011年03期

3 魯偉明;杜晨陽;魏寶剛;沈春輝;葉振超;;基于MapReduce的分布式近鄰傳播聚類算法[J];計算機研究與發(fā)展;2012年08期

4 毛國君;曹永存;;基于數據概要描述的分布式數據流聚類模型與算法[J];計算機科學;2013年06期

5 于明;朱超;;利用半監(jiān)督近鄰傳播聚類算法實現P2P流量識別[J];哈爾濱工程大學學報;2013年05期

6 張劍;曹萍;壽國礎;;網絡流量識別的自適應分級滑動窗決策樹算法[J];計算機應用研究;2013年08期

  本文關鍵詞：移動互聯網大規(guī)模流量數據分布式處理與流量分析，由筆耕文化傳播整理發(fā)布。

，

本文編號：399739