本文關鍵詞：GraphHP:一個圖迭代處理的混合平臺

  更多相關文章： 圖迭代 分布式計算 BSP GraphHP

【摘要】：BSP(Bulk Synchronous Parallel,BSP)計算模型是建立大規(guī)模迭代式圖處理分布式系統(tǒng)的重要基礎.現(xiàn)有平臺(如Pregel、Giraph、Hama)雖然已經(jīng)實現(xiàn)了較高的可擴展性,但主機之間高頻同步和通信負荷嚴重影響了并行計算的效率.為了解決這個關鍵性問題,本文提出了一種基于混合式模型的執(zhí)行平臺GraphHP(Graph Hybrid Processing).它不僅繼承了以頂點為中心的BSP編程接口,而且能夠顯著減少同步和通信負荷.通過在圖分區(qū)內部和分區(qū)之間建立混合執(zhí)行模型,GraphHP實現(xiàn)了偽超步迭代計算,把分區(qū)內部計算從分布式同步和通信中分離出來.這種混合執(zhí)行模型不需要繁重的調度算法或者以圖為中心的串行算法,就能有效減少同步和通信負荷.最后,本文評估了經(jīng)典的BSP應用在GraphHP平臺的實現(xiàn)方式.實驗表明它比現(xiàn)有的BSP實現(xiàn)平臺效率更高.本文提出的GraphHP平臺雖然是基于Hama實現(xiàn)的,但它很容易遷移到其他的BSP平臺.
【作者單位】： 西北工業(yè)大學計算機學院;
【基金】：國家973計劃項目(2012CB316203) 國家863計劃項目(2015AA015307) 國家自然科學基金(61332006,61472321,61502390)
【分類號】：TP338.8
【正文快照】： o引言 目前越來越多的大數(shù)據(jù)應用都聚焦于具有復雜數(shù)據(jù)依賴關系的圖模型,如各種社交網(wǎng)絡、Web圖、生物基因網(wǎng)絡等都需要利用圖模型進行計算處理.圖模型的計算離不開迭代,迭代的本質就是對目前系統(tǒng)的一系列狀態(tài)進行改變,特別是在大規(guī)模數(shù)據(jù)集中運行這類算法時,就需要一種快速，

本文編號：1228037