【摘要】：作為數(shù)據(jù)中心大規(guī)模處理框架,MapReduce集群包含成百上千個節(jié)點,多采用推測執(zhí)行的方法來有效解決并行計算中的掉隊任務(wù)。針對集群中實時性需求較高并且任務(wù)量較小的目標(biāo)作業(yè),提出基于MapReduce模型的推測執(zhí)行優(yōu)化算法,其目的是在滿足實時性需求的基礎(chǔ)上盡量減少目標(biāo)作業(yè)的完成時間。首先通過分析任務(wù)模型和時間模型,引入數(shù)學(xué)0-1規(guī)劃模型,求得整體作業(yè)的完成時間最小;然后設(shè)計可以在多項式復(fù)雜度內(nèi)完成的啟發(fā)式算法,目的是在可用資源允許的范圍內(nèi)盡量逼近最優(yōu)值;最后通過大量實驗?zāi)M驗證算法的執(zhí)行效果。
[Abstract]:As a data center large-scale processing framework, the MapReduce cluster consists of hundreds of nodes, most of which use the method of conjecture execution to effectively solve the drop off task in parallel computing. Aiming at the target jobs with high real-time requirement and low task quantity in cluster, an optimal algorithm based on MapReduce model is proposed, which aims to reduce the completion time of target jobs on the basis of satisfying the real-time requirements. Firstly, by analyzing the task model and the time model, the mathematical 0-1 programming model is introduced to get the minimum completion time of the whole job. Then a heuristic algorithm which can be completed in polynomial complexity is designed to approach the optimal value within the limits of available resources. Finally, a large number of experiments are carried out to verify the performance of the algorithm.
【作者單位】： 南京工業(yè)大學(xué)計算機科學(xué)與技術(shù)系;
【基金】：國家自然科學(xué)基金項目(61502230,61073197) 江蘇省自然科學(xué)基金項目(BK20150960) 江蘇省科技支撐計劃(工業(yè))項目(BE2011186) 江蘇省未來網(wǎng)絡(luò)前瞻性研究項目(BY2013095-4-09) 江蘇省普通高校自然科學(xué)研究項目(15KJB520015) 江蘇省六大高峰人才基金資助項目(第八批) 江蘇省2015年度普通高校研究生科研創(chuàng)新計劃(KYLX15_0804)資助
【分類號】：TP308;TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫廣中;陳國良;徐云;鄭啟龍;吳俊敏;;并行計算系列課程教學(xué)團(tuán)隊建設(shè)[J];中國大學(xué)教學(xué);2008年02期

2 孫廣中;徐云;鄭啟龍;吳俊敏;陳國良;;并行計算系列課程教學(xué)團(tuán)隊建設(shè)[J];計算機教育;2008年15期

3 陸克中;孫宏元;;同構(gòu)集群中并行計算熵研究[J];深圳大學(xué)學(xué)報(理工版);2009年01期

4 胡霞;;并行計算如何用于科學(xué)問題研究[J];科技資訊;2009年27期

5 顏寶勇;快速富里葉變換的并行計算[J];計算機工程與科學(xué);1984年03期

6 吳靖;;一種用于基因序列比較的并行計算方法[J];國外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊;1992年01期

7 李斌;并行計算用的計算機和模型[J];管理科學(xué)文摘;1996年04期

8 魏臻;;高性能計算,高興能計算[J];中國教育網(wǎng)絡(luò);2010年06期

9 劉杰,遲利華,胡慶豐;優(yōu)化并行計算的性能評價[J];計算機工程與設(shè)計;2000年06期

10 劉赫男,羅霄,高曉東;并行計算的現(xiàn)狀與發(fā)展[J];煤;2001年01期

相關(guān)會議論文 前10條

1 黃宇光;;整體同步并行計算方法的現(xiàn)狀與發(fā)展[A];信息科學(xué)與微電子技術(shù):中國科協(xié)第三屆青年學(xué)術(shù)年會論文集[C];1998年

2 羅文彩;陳小前;;并行計算的多方法優(yōu)化協(xié)作[A];第二十四屆中國控制會議論文集（上冊）[C];2005年

3 左風(fēng)麗;莫則堯;葉文華;;計算流體三維分裂格式的高效并行計算[A];中國工程物理研究院科技年報（2003）[C];2003年

4 王欣;李志山;張志遠(yuǎn);;并行計算在彈塑性時程分析中的應(yīng)用[A];信息化推動工程建設(shè)工業(yè)化——第四屆工程建設(shè)計算機應(yīng)用創(chuàng)新論壇論文集[C];2013年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計算改進(jìn)的平方共軛殘差法[A];2008年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(下冊)[C];2008年

6 胡金初;;并行計算中的任務(wù)分配算法[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年

7 宋庭新;李慧;;面向服務(wù)的有限元并行計算網(wǎng)格系統(tǒng)設(shè)計[A];湖北省機械工程學(xué)會設(shè)計與傳動學(xué)會、武漢機械設(shè)計與傳動學(xué)會2008年學(xué)術(shù)年會論文集（2）[C];2008年

8 裘懿勇;徐斌;劉曉明;;并行計算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

9 裘懿勇;徐斌;劉曉明;;并行計算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];2012年MIS/S&A學(xué)術(shù)交流會議論文集[C];2012年

10 肖保國;楊順華;邢建文;趙慧勇;;當(dāng)?shù)刈赃m應(yīng)建表方法在煤油超燃發(fā)動機并行計算中的應(yīng)用[A];第十四屆全國激波與激波管學(xué)術(shù)會議論文集（下冊）[C];2010年

相關(guān)重要報紙文章 前10條

1 軼嘉;英特爾全球首個并行計算中心落戶無錫[N];人民郵電;2009年

2 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計算任重道遠(yuǎn)[N];中國計算機報;2007年

3 英特爾并行計算實驗室研究員 TimothyMattson;并行計算:減少串行軟件[N];中國計算機報;2007年

4 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計算軟件開發(fā)概述[N];中國計算機報;2007年

5 劉霞;計算能力的提升需要一場革命[N];科技日報;2010年

6 安世亞太 雷先華;ANSYS高性能并行計算[N];中國航空報;2005年

7 張云泉;并行計算：迎接多核時代的挑戰(zhàn)[N];計算機世界;2006年

8 本報記者 馬文方;英特爾為何要牽頭并行計算[N];中國計算機報;2009年

9 英特爾 趙軍(Jun Zhao);PC機并行計算革命尚未成功[N];中國計算機報;2009年

10 ;Linux下的網(wǎng)絡(luò)并行計算[N];計算機世界;2000年

相關(guān)博士學(xué)位論文 前10條

1 張雨新;改進(jìn)的MPS方法及其三維并行計算研究[D];上海交通大學(xué);2014年

2 李維山;面向領(lǐng)域應(yīng)用的空間域和頻域分解模式并行計算[D];吉林大學(xué);2016年

3 孫安香;數(shù)值氣象預(yù)報變分同化的伴隨模式并行計算[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

4 張理論;面向氣象預(yù)報數(shù)值模式的高效并行計算研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

5 龍柏;并行計算平臺上的數(shù)據(jù)索引技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 管建和;電磁場有限元法解釋分布式并行計算的研究[D];中國地質(zhì)大學(xué)（北京）;2006年

7 劉耀儒;三維有限元并行計算及其在水利工程中的應(yīng)用[D];清華大學(xué);2003年

8 金晶;并行計算普適編程模型及系統(tǒng)架構(gòu)研究[D];北京郵電大學(xué);2012年

9 盛艷秀;多核異構(gòu)環(huán)境下通用并行計算框架關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2013年

10 張帆;過程系統(tǒng)優(yōu)化的分布式并行計算[D];浙江大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 張康宇;基于ASAR近海風(fēng)場反演方法研究[D];浙江大學(xué);2015年

2 胡榮華;并行計算在臨近天氣預(yù)報系統(tǒng)中的應(yīng)用研究[D];華南理工大學(xué);2015年

3 嚴(yán)善楷;異構(gòu)系統(tǒng)中并行計算的動態(tài)負(fù)載均衡技術(shù)研究[D];華南理工大學(xué);2015年

4 陳磊;基于監(jiān)控信號的多信息提取識別的并行計算方法[D];南京理工大學(xué);2015年

5 焦弘杰;CPU-GPU異構(gòu)并行計算體系的設(shè)計與實現(xiàn)[D];江蘇科技大學(xué);2015年

6 陳從江;基于面向云服務(wù)的Python并行計算的研究[D];電子科技大學(xué);2014年

7 唐吉卓;基于GPU平臺的SVD并行計算研究與實現(xiàn)[D];電子科技大學(xué);2014年

8 吳頎;GPU并行計算及其在飛行器設(shè)計中的應(yīng)用[D];北京理工大學(xué);2015年

9 李保安;基于液態(tài)食品冷凍濃縮冰晶生長機制并行計算[D];電子科技大學(xué);2013年

10 鐘承群;基于CPU/GPU異構(gòu)并行計算的OTN仿真驗證系統(tǒng)的研究與實現(xiàn)[D];電子科技大學(xué);2015年

，

本文編號：2393614