本文選題：分布式 + 圖計算��； 參考：《小型微型計算機系統(tǒng)》2015年04期

【摘要】：分析了分布式圖計算框架的同步和異步計算模式在調(diào)度開銷和收斂速度上存在的優(yōu)點與不足.同步計算模式調(diào)度開銷小,但是收斂較慢;而異步計算模式收斂較快,但調(diào)度開銷大.基于上述發(fā)現(xiàn),提出一種混合計算模式,能夠在分布式環(huán)境下有效地結(jié)合同步與異步計算模式的優(yōu)點克服各自不足,以獲得最優(yōu)性能.混合計算模式采用"同步控制流"以降低分布式環(huán)境下的調(diào)度開銷,同時采用"異步數(shù)據(jù)流"使計算過程使用較新的數(shù)據(jù)以加快收斂速度.基于多個典型圖算法和真實大規(guī)模圖的評測顯示,混合計算模式的性能是原有同步計算模式的1.2倍到2.4倍,計算量平均減少30%;相對于異步計算模式通過減少調(diào)度開銷,整體性能可以提升至其2.3倍到4.6倍.
[Abstract]:The advantages and disadvantages of the synchronous and asynchronous computing models in the distributed graph computing framework in scheduling overhead and convergence speed are analyzed. The scheduling cost of synchronous computing mode is small, but the convergence is slow, while the asynchronous computing mode converges faster, but the scheduling overhead is large. Based on the above findings, a hybrid computing model is proposed, which can effectively combine the advantages of synchronous and asynchronous computing modes in distributed environments to overcome their respective shortcomings to achieve optimal performance. The hybrid computing model uses "synchronous control flow" to reduce the scheduling overhead in distributed environment, and "asynchronous data stream" to make the computing process use newer data to speed up the convergence. The performance of the hybrid computing model is 1.2 to 2.4 times of that of the original synchronous computing model, and the average amount of computation is reduced by 30 times compared with the asynchronous computing mode, and the scheduling overhead is reduced compared with the asynchronous computing mode. The overall performance can be increased to 2.3 to 4.6 times.
【作者單位】： 復(fù)旦大學(xué)軟件學(xué)院上海市數(shù)據(jù)科學(xué)重點實驗室;上海交通大學(xué)軟件學(xué)院并行與分布式系統(tǒng)研究所;
【基金】：國家自然科學(xué)基金青年項目(61003002)資助 教育部新教師博士點基金項目(20130073120040)資助
【分類號】：TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 于戈;谷峪;鮑玉斌;王志剛;;云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J];計算機學(xué)報;2011年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王晟;趙壁芳;;面向云計算的數(shù)據(jù)管理技術(shù)研究[J];電腦知識與技術(shù);2012年13期

2 宋亞奇;劉樹仁;朱永利;王德文;李莉;;電力設(shè)備狀態(tài)高速采樣數(shù)據(jù)的云存儲技術(shù)研究[J];電力自動化設(shè)備;2013年10期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

4 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

6 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期

8 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報;2014年01期

9 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報;2014年01期

10 劉嵩;謝曉堯;;3D點云BSP并行計算模型及算法設(shè)計[J];貴州大學(xué)學(xué)報(自然科學(xué)版);2014年01期

相關(guān)會議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 郭紅方;視頻點播內(nèi)容分發(fā)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2012年

2 王鋒;基于�；瘷C理的粗糙特征選擇高效算法研究[D];山西大學(xué);2013年

3 楊雅君;動態(tài)圖數(shù)據(jù)挖掘與查詢算法的研究[D];哈爾濱工業(yè)大學(xué);2013年

4 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

5 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

6 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

7 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

8 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

10 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 孫春菊;云環(huán)境下數(shù)據(jù)模型和索引技術(shù)研究[D];南京郵電大學(xué);2013年

2 m云龍;云計算平臺下的數(shù)據(jù)挖掘研究[D];南京郵電大學(xué);2013年

3 許偉靜;云計算在媒體資源管理系統(tǒng)中的應(yīng)用研究[D];北京化工大學(xué);2013年

4 趙男;基于MapReduce的分布式極圖構(gòu)造算法研究[D];北京交通大學(xué);2013年

5 劉樹仁;基于Hadoop的電力設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)存儲與訪問研究[D];華北電力大學(xué);2013年

6 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

7 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

8 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

9 趙洪昌;云計算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

10 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

，

本文編號：1931943