本文選題：分布式 + 圖計(jì)算��； 參考：《小型微型計(jì)算機(jī)系統(tǒng)》2015年04期

【摘要】：分析了分布式圖計(jì)算框架的同步和異步計(jì)算模式在調(diào)度開銷和收斂速度上存在的優(yōu)點(diǎn)與不足.同步計(jì)算模式調(diào)度開銷小,但是收斂較慢;而異步計(jì)算模式收斂較快,但調(diào)度開銷大.基于上述發(fā)現(xiàn),提出一種混合計(jì)算模式,能夠在分布式環(huán)境下有效地結(jié)合同步與異步計(jì)算模式的優(yōu)點(diǎn)克服各自不足,以獲得最優(yōu)性能.混合計(jì)算模式采用"同步控制流"以降低分布式環(huán)境下的調(diào)度開銷,同時(shí)采用"異步數(shù)據(jù)流"使計(jì)算過程使用較新的數(shù)據(jù)以加快收斂速度.基于多個(gè)典型圖算法和真實(shí)大規(guī)模圖的評測顯示,混合計(jì)算模式的性能是原有同步計(jì)算模式的1.2倍到2.4倍,計(jì)算量平均減少30%;相對于異步計(jì)算模式通過減少調(diào)度開銷,整體性能可以提升至其2.3倍到4.6倍.
[Abstract]:The advantages and disadvantages of the synchronous and asynchronous computing models in the distributed graph computing framework in scheduling overhead and convergence speed are analyzed. The scheduling cost of synchronous computing mode is small, but the convergence is slow, while the asynchronous computing mode converges faster, but the scheduling overhead is large. Based on the above findings, a hybrid computing model is proposed, which can effectively combine the advantages of synchronous and asynchronous computing modes in distributed environments to overcome their respective shortcomings to achieve optimal performance. The hybrid computing model uses "synchronous control flow" to reduce the scheduling overhead in distributed environment, and "asynchronous data stream" to make the computing process use newer data to speed up the convergence. The performance of the hybrid computing model is 1.2 to 2.4 times of that of the original synchronous computing model, and the average amount of computation is reduced by 30 times compared with the asynchronous computing mode, and the scheduling overhead is reduced compared with the asynchronous computing mode. The overall performance can be increased to 2.3 to 4.6 times.
【作者單位】： 復(fù)旦大學(xué)軟件學(xué)院上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室;上海交通大學(xué)軟件學(xué)院并行與分布式系統(tǒng)研究所;
【基金】：國家自然科學(xué)基金青年項(xiàng)目(61003002)資助 教育部新教師博士點(diǎn)基金項(xiàng)目(20130073120040)資助
【分類號(hào)】：TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 于戈;谷峪;鮑玉斌;王志剛;;云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J];計(jì)算機(jī)學(xué)報(bào);2011年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王晟;趙壁芳;;面向云計(jì)算的數(shù)據(jù)管理技術(shù)研究[J];電腦知識(shí)與技術(shù);2012年13期

2 宋亞奇;劉樹仁;朱永利;王德文;李莉;;電力設(shè)備狀態(tài)高速采樣數(shù)據(jù)的云存儲(chǔ)技術(shù)研究[J];電力自動(dòng)化設(shè)備;2013年10期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

4 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

6 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

8 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

9 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

10 劉嵩;謝曉堯;;3D點(diǎn)云BSP并行計(jì)算模型及算法設(shè)計(jì)[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

相關(guān)會(huì)議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會(huì)議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 郭紅方;視頻點(diǎn)播內(nèi)容分發(fā)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2012年

2 王鋒;基于粒化機(jī)理的粗糙特征選擇高效算法研究[D];山西大學(xué);2013年

3 楊雅君;動(dòng)態(tài)圖數(shù)據(jù)挖掘與查詢算法的研究[D];哈爾濱工業(yè)大學(xué);2013年

4 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

5 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

6 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

7 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

8 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

10 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 孫春菊;云環(huán)境下數(shù)據(jù)模型和索引技術(shù)研究[D];南京郵電大學(xué);2013年

2 m云龍;云計(jì)算平臺(tái)下的數(shù)據(jù)挖掘研究[D];南京郵電大學(xué);2013年

3 許偉靜;云計(jì)算在媒體資源管理系統(tǒng)中的應(yīng)用研究[D];北京化工大學(xué);2013年

4 趙男;基于MapReduce的分布式極圖構(gòu)造算法研究[D];北京交通大學(xué);2013年

5 劉樹仁;基于Hadoop的電力設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)存儲(chǔ)與訪問研究[D];華北電力大學(xué);2013年

6 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

7 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

8 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

9 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

10 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

，

本文編號(hào)：1931943