在復雜網絡中挖掘關鍵節(jié)點具有重要的現(xiàn)實應用價值,本文通過對復雜網絡結構和特性的研究分析,同時考慮到網絡規(guī)模不斷變大的問題,進行了如下工作。首先,構建復雜網絡的分布式處理模型。分別對HDFS文件中復雜網絡數(shù)據(jù)的劃分,算法中間結果數(shù)據(jù)的存儲方式和基于MapReduce的多任務計算框架做了詳細的設計。其次,針對無權復雜網絡,提出基于社區(qū)結構的關鍵節(jié)點分布式挖掘算法。該算法針對節(jié)點社區(qū)結構屬性、節(jié)點的直接鄰里關系,得到節(jié)點對應的社區(qū)因子、信息擴散系數(shù)和信息傳播依賴度,在此基礎上,計算得出節(jié)點自身重要度;接著通過對節(jié)點間接鄰里關系的考慮,得出節(jié)點綜合重要度,其大小決定節(jié)點在整個網絡中的關鍵程度。再次,針對加權復雜網絡,提出基于核心點社區(qū)的分布式關鍵節(jié)點挖掘算法。該算法基于節(jié)點相似度,劃分鄰域點社區(qū);接著對互為合并點社區(qū)的鄰域點社區(qū)進行合并,得到核心點社區(qū),進而完成整個網絡的社區(qū)劃分;每個核心點社區(qū)的核心點作為嫌疑關鍵節(jié)點群,考慮度屬性、權重屬性、多層鄰里關系,計算核心節(jié)點綜合重要度,并在每個社區(qū)中按照重要度值從大到小排序,取出每個社區(qū)中前幾個節(jié)點作為全網的關鍵節(jié)點。最后,針對本文提出的兩個算法,... 

【文章來源】：燕山大學河北省

【文章頁數(shù)】：70 頁

【學位級別】：碩士

【部分圖文】：

LFR基準網絡結構圖

- 52 -圖5-16 top3節(jié)點在網絡中的位置MA算法以分布式的方式進行實現(xiàn)，對大規(guī)模數(shù)據(jù)有很30萬、50萬、70萬個節(jié)點的數(shù)據(jù)進行了加權復雜網絡關EVC算法對大規(guī)模數(shù)據(jù)的運行，運行時間過長，未得到網絡數(shù)據(jù)變換為鄰接矩陣形式，當數(shù)據(jù)量達到幾十萬個，無法存入內存執(zhí)行。通過本文的算法，以分布式的方多個小數(shù)據(jù)集執(zhí)行，一方面解決了內存溢出問題，另一多。圖5-17為MR-CPCKNMA算法的運行時間結果，可知依然很短。


本文編號：2962562