互聯(lián)網(wǎng)技術(shù)的應(yīng)用導(dǎo)致了數(shù)據(jù)爆炸式地增長,而海量數(shù)據(jù)的分析和處理一直是業(yè)界挖掘數(shù)據(jù)中蘊(yùn)含價值的著力點(diǎn)。圖模型作為現(xiàn)實世界中對象及其關(guān)聯(lián)關(guān)系的抽象,較之于傳統(tǒng)關(guān)系模型可以更有力地表達(dá)數(shù)據(jù)的屬性和數(shù)據(jù)間的依賴關(guān)系。分布式數(shù)據(jù)處理系統(tǒng)比如Spark、MapReduce主要作用于傳統(tǒng)數(shù)據(jù)分析,且以批處理計算為主,無法很好地適應(yīng)圖數(shù)據(jù)的迭代式計算過程。而基于圖的分布式處理系統(tǒng)著眼于圖數(shù)據(jù)模型,一般按圖頂點(diǎn)以GAS（Gather-Apply-Scatter）或者超步進(jìn)行迭代式計算,從而實現(xiàn)大規(guī)模圖數(shù)據(jù)的分布式實時分析和處理。本文設(shè)計并實現(xiàn)了一個圖數(shù)據(jù)的分布式圖計算引擎,該引擎借鑒了 Pregel和PowerGraph等典型圖計算系統(tǒng)的設(shè)計方案,著重討論了數(shù)據(jù)組織和迭代方式對系統(tǒng)性能的影響,主要工作如下:（1）設(shè)計并實現(xiàn)了分布式圖計算引擎的內(nèi)存圖元數(shù)據(jù)及數(shù)據(jù)管理結(jié)構(gòu)。以現(xiàn)有的圖分片算法為基礎(chǔ),設(shè)計并實現(xiàn)了以邊為加載粒度的基于貪婪策略的平衡點(diǎn)切割策略,將圖數(shù)據(jù)分布式地從圖存儲引擎加載到圖計算引擎內(nèi)存中;設(shè)計并實現(xiàn)基于內(nèi)存的頂點(diǎn)主備存儲結(jié)構(gòu),并提供在迭代式計算過程中對頂點(diǎn)數(shù)據(jù)、及其備份數(shù)據(jù)和鄰接點(diǎn)、邊數(shù)據(jù)... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：93 頁

【學(xué)位級別】：碩士

【部分圖文】：

切割例圖

二ㄐ典型與基7個接亦，么切割會導(dǎo)亦產(chǎn)冗余副個，接亦冗余副共個，冗余副共個，總3個冗余副，因可以出切割冗余存儲與數(shù)成性關(guān)。圖2-1切割例圖從信開度分，于切割會導(dǎo)一對亦切割到不同存儲實例上，因原基于內(nèi)存信會變?yōu)榛赥CP信；又于圖場，亦之息信是中大分操作，因切割使會導(dǎo)在對實中冪律圖圖時產(chǎn)大冗余信開[19]。同時切割會導(dǎo)亦和產(chǎn)備份，主從備份之同開也會之增大。因在實場中處大合冪律分布圖數(shù)據(jù)時，盡切割可以分?jǐn)倳r存儲，但于其為冗余存儲開和差性往往不會使切割作為圖場下數(shù)據(jù)切分。2.1.2傳統(tǒng)點(diǎn)切割算法圖2-2傳切割實例圖

切割互斥圖

【參考文獻(xiàn)】：
期刊論文
[1]Storm集群下一種基于Topology的任務(wù)調(diào)度策略[J]. 蔣溢,羅宇豪,朱恒偉.  計算機(jī)工程與應(yīng)用. 2018(07)
[2]一種改進(jìn)的基于BSP的大圖計算模型[J]. 趙翔,李博,商海川,肖衛(wèi)東.  計算機(jī)學(xué)報. 2017(01)
[3]一個基于Redis架構(gòu)的分布式圖計算系統(tǒng)設(shè)計[J]. 劉慶典,李川.  現(xiàn)代計算機(jī)(專業(yè)版). 2016(04)
[4]基于虛節(jié)點(diǎn)的一致性哈希算法的優(yōu)化[J]. 巴子言,吳軍,馬嚴(yán).  軟件. 2014(12)
[5]一致性哈希算法在分布式系統(tǒng)中的應(yīng)用[J]. 姚墨涵,謝紅薇.  電腦開發(fā)與應(yīng)用. 2012(07)
[6]基于動態(tài)反饋的一致性哈希負(fù)載均衡算法[J]. 胡麗聰,徐雅靜,徐惠民.  微電子學(xué)與計算機(jī). 2012(01)
[7]關(guān)于Hash函數(shù)MD5的解析[J]. 毛明,陳少暉,袁征,賈永興.  計算機(jī)科學(xué). 2009(11)
[8]基于指令Cache作廢的多核處理器同步技術(shù)[J]. 郭建軍,戴葵,王志英.  計算機(jī)工程與應(yīng)用. 2009(04)
[9]冪律分布研究簡史[J]. 胡海波,王林.  物理. 2005(12)



本文編號：3351029