本文關(guān)鍵詞：基于Spark的大規(guī)模圖數(shù)據(jù)并行計(jì)算研究

  更多相關(guān)文章： 大規(guī)模圖數(shù)據(jù) 并行計(jì)算 Spark Pregel

【摘要】：隨著社交網(wǎng)絡(luò)的興起,大規(guī)模圖數(shù)據(jù)處理技術(shù)成為研究的熱點(diǎn),從海量的社交數(shù)據(jù)中分析數(shù)據(jù)的關(guān)系具有巨大的商業(yè)價(jià)值。Spark利用其內(nèi)存計(jì)算模型和適合迭代運(yùn)算的優(yōu)勢(shì),為大規(guī)模圖數(shù)據(jù)并行運(yùn)算提供Graphx框架。以經(jīng)典的Page Rank算法為例,分析Graphx框架下的Pregel迭代計(jì)算模型,總結(jié)Pregel計(jì)算模型的優(yōu)勢(shì)和應(yīng)用場(chǎng)景。
【作者單位】： 四川大學(xué)計(jì)算機(jī)學(xué)院;
【關(guān)鍵詞】： 大規(guī)模圖數(shù)據(jù) 并行計(jì)算 Spark Pregel
【分類(lèi)號(hào)】：TP338.6
【正文快照】： 0引言圖是一種抽象的數(shù)據(jù)結(jié)構(gòu),現(xiàn)實(shí)世界中的許多場(chǎng)景都需要用圖結(jié)構(gòu)表示,例如在線(xiàn)地圖的最短路徑、社交網(wǎng)絡(luò)分析、科技文獻(xiàn)的引文網(wǎng)絡(luò)等。隨著Web2.0技術(shù)的發(fā)展,社交網(wǎng)絡(luò)用戶(hù)數(shù)量和網(wǎng)頁(yè)數(shù)量猛增,導(dǎo)致圖數(shù)據(jù)規(guī)模迅速增長(zhǎng)。云計(jì)算對(duì)于處理大規(guī)模圖數(shù)據(jù)[1-2]有諸多優(yōu)勢(shì),然而云計(jì)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 鄭敏娟;賀炎;;未來(lái)的并行計(jì)算[J];中國(guó)科技信息;2007年12期

2 陳國(guó)良;孫廣中;徐云;龍柏;;并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢(shì)[J];科學(xué)通報(bào);2009年08期

3 王琳;魯晶晶;殷克功;;關(guān)于并行計(jì)算在軟件發(fā)展下的研究分析[J];科技信息;2009年14期

4 劉俊莉;王楚斌;林曉銳;司徒祝坤;;并行計(jì)算實(shí)驗(yàn)平臺(tái)的研究與實(shí)現(xiàn)[J];科技信息;2009年22期

5 潘沙;范曉檣;李曉宇;丁國(guó)昊;馮定華;李樺;;并行計(jì)算在高超聲速流場(chǎng)數(shù)值模擬中的應(yīng)用[J];計(jì)算機(jī)工程與科學(xué);2009年S1期

6 逄華;王龍;王劍輝;;一種基于移動(dòng)Agent的分布式并行計(jì)算模型[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年02期

7 程建鋼，李明瑞，黃文彬;有限元分析的并行計(jì)算方法[J];力學(xué)與實(shí)踐;1995年04期

8 林彬;;并行計(jì)算的基本問(wèn)題及現(xiàn)狀分析[J];中國(guó)管理信息化;2014年16期

9 林新華;王左利;林新華;;困擾并行計(jì)算的三大問(wèn)題[J];中國(guó)教育網(wǎng)絡(luò);2008年11期

10 ;光計(jì)算[J];中國(guó)光學(xué)與應(yīng)用光學(xué)文摘;2001年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 黃宇光;;整體同步并行計(jì)算方法的現(xiàn)狀與發(fā)展[A];信息科學(xué)與微電子技術(shù):中國(guó)科協(xié)第三屆青年學(xué)術(shù)年會(huì)論文集[C];1998年

2 左風(fēng)麗;莫?jiǎng)t堯;葉文華;;計(jì)算流體三維分裂格式的高效并行計(jì)算[A];中國(guó)工程物理研究院科技年報(bào)（2003）[C];2003年

3 羅文彩;陳小前;;并行計(jì)算的多方法優(yōu)化協(xié)作[A];第二十四屆中國(guó)控制會(huì)議論文集（上冊(cè)）[C];2005年

4 王欣;李志山;張志遠(yuǎn);;并行計(jì)算在彈塑性時(shí)程分析中的應(yīng)用[A];信息化推動(dòng)工程建設(shè)工業(yè)化——第四屆工程建設(shè)計(jì)算機(jī)應(yīng)用創(chuàng)新論壇論文集[C];2013年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計(jì)算改進(jìn)的平方共軛殘差法[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

6 胡金初;;并行計(jì)算中的任務(wù)分配算法[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

7 宋庭新;李慧;;面向服務(wù)的有限元并行計(jì)算網(wǎng)格系統(tǒng)設(shè)計(jì)[A];湖北省機(jī)械工程學(xué)會(huì)設(shè)計(jì)與傳動(dòng)學(xué)會(huì)、武漢機(jī)械設(shè)計(jì)與傳動(dòng)學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集（2）[C];2008年

8 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];第十四屆中國(guó)科協(xié)年會(huì)第5分會(huì)場(chǎng)：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

9 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];2012年MIS/S&A學(xué)術(shù)交流會(huì)議論文集[C];2012年

10 肖保國(guó);楊順華;邢建文;趙慧勇;;當(dāng)?shù)刈赃m應(yīng)建表方法在煤油超燃發(fā)動(dòng)機(jī)并行計(jì)算中的應(yīng)用[A];第十四屆全國(guó)激波與激波管學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算任重道遠(yuǎn)[N];中國(guó)計(jì)算機(jī)報(bào);2007年

2 軼嘉;英特爾全球首個(gè)并行計(jì)算中心落戶(hù)無(wú)錫[N];人民郵電;2009年

3 英特爾并行計(jì)算實(shí)驗(yàn)室研究員 TimothyMattson;并行計(jì)算:減少串行軟件[N];中國(guó)計(jì)算機(jī)報(bào);2007年

4 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算軟件開(kāi)發(fā)概述[N];中國(guó)計(jì)算機(jī)報(bào);2007年

5 劉霞;計(jì)算能力的提升需要一場(chǎng)革命[N];科技日?qǐng)?bào);2010年

6 安世亞太 雷先華;ANSYS高性能并行計(jì)算[N];中國(guó)航空?qǐng)?bào);2005年

7 張?jiān)迫?并行計(jì)算：迎接多核時(shí)代的挑戰(zhàn)[N];計(jì)算機(jī)世界;2006年

8 本報(bào)記者 馬文方;英特爾為何要牽頭并行計(jì)算[N];中國(guó)計(jì)算機(jī)報(bào);2009年

9 英特爾 趙軍(Jun Zhao);PC機(jī)并行計(jì)算革命尚未成功[N];中國(guó)計(jì)算機(jī)報(bào);2009年

10 ;Linux下的網(wǎng)絡(luò)并行計(jì)算[N];計(jì)算機(jī)世界;2000年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 顧慧;基于異構(gòu)平臺(tái)的并行計(jì)算性能可視化研究[D];遼寧師范大學(xué);2010年

2 徐曉華;光并行計(jì)算及其在圖像處理和計(jì)算分子生物學(xué)中的應(yīng)用[D];揚(yáng)州大學(xué);2005年

3 田甜;異構(gòu)環(huán)境中并行計(jì)算模型與任務(wù)調(diào)度的研究[D];曲阜師范大學(xué);2010年

4 劉杰;可擴(kuò)展并行計(jì)算及其應(yīng)用研究[D];湖南大學(xué);2009年

5 孔令梅;三維變分同化并行計(jì)算研究及實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

6 劉桂海;網(wǎng)格并行計(jì)算系統(tǒng)研究開(kāi)發(fā)[D];西安理工大學(xué);2008年

7 蔡佳佳;圖像代數(shù)多核并行計(jì)算類(lèi)庫(kù)的構(gòu)建與優(yōu)化[D];廈門(mén)大學(xué);2008年

8 陳維;有限單元并行計(jì)算方法在地震波動(dòng)模擬中的應(yīng)用[D];中國(guó)地震局工程力學(xué)研究所;2011年

9 陸良剛;土木工程有限元并行計(jì)算應(yīng)用及其軟件架構(gòu)[D];中國(guó)地震局工程力學(xué)研究所;2011年

10 張立霞;電磁場(chǎng)有限元分析中并行計(jì)算的研究[D];河北工業(yè)大學(xué);2006年

，

本文編號(hào)：528451