【摘要】：作為數(shù)據(jù)中心大規(guī)模處理框架,MapReduce集群包含成百上千個(gè)節(jié)點(diǎn),多采用推測(cè)執(zhí)行的方法來(lái)有效解決并行計(jì)算中的掉隊(duì)任務(wù)。針對(duì)集群中實(shí)時(shí)性需求較高并且任務(wù)量較小的目標(biāo)作業(yè),提出基于MapReduce模型的推測(cè)執(zhí)行優(yōu)化算法,其目的是在滿足實(shí)時(shí)性需求的基礎(chǔ)上盡量減少目標(biāo)作業(yè)的完成時(shí)間。首先通過(guò)分析任務(wù)模型和時(shí)間模型,引入數(shù)學(xué)0-1規(guī)劃模型,求得整體作業(yè)的完成時(shí)間最小;然后設(shè)計(jì)可以在多項(xiàng)式復(fù)雜度內(nèi)完成的啟發(fā)式算法,目的是在可用資源允許的范圍內(nèi)盡量逼近最優(yōu)值;最后通過(guò)大量實(shí)驗(yàn)?zāi)M驗(yàn)證算法的執(zhí)行效果。
[Abstract]:As a data center large-scale processing framework, the MapReduce cluster consists of hundreds of nodes, most of which use the method of conjecture execution to effectively solve the drop off task in parallel computing. Aiming at the target jobs with high real-time requirement and low task quantity in cluster, an optimal algorithm based on MapReduce model is proposed, which aims to reduce the completion time of target jobs on the basis of satisfying the real-time requirements. Firstly, by analyzing the task model and the time model, the mathematical 0-1 programming model is introduced to get the minimum completion time of the whole job. Then a heuristic algorithm which can be completed in polynomial complexity is designed to approach the optimal value within the limits of available resources. Finally, a large number of experiments are carried out to verify the performance of the algorithm.
【作者單位】： 南京工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61502230,61073197) 江蘇省自然科學(xué)基金項(xiàng)目(BK20150960) 江蘇省科技支撐計(jì)劃(工業(yè))項(xiàng)目(BE2011186) 江蘇省未來(lái)網(wǎng)絡(luò)前瞻性研究項(xiàng)目(BY2013095-4-09) 江蘇省普通高校自然科學(xué)研究項(xiàng)目(15KJB520015) 江蘇省六大高峰人才基金資助項(xiàng)目(第八批) 江蘇省2015年度普通高校研究生科研創(chuàng)新計(jì)劃(KYLX15_0804)資助
【分類號(hào)】：TP308;TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫廣中;陳國(guó)良;徐云;鄭啟龍;吳俊敏;;并行計(jì)算系列課程教學(xué)團(tuán)隊(duì)建設(shè)[J];中國(guó)大學(xué)教學(xué);2008年02期

2 孫廣中;徐云;鄭啟龍;吳俊敏;陳國(guó)良;;并行計(jì)算系列課程教學(xué)團(tuán)隊(duì)建設(shè)[J];計(jì)算機(jī)教育;2008年15期

3 陸克中;孫宏元;;同構(gòu)集群中并行計(jì)算熵研究[J];深圳大學(xué)學(xué)報(bào)(理工版);2009年01期

4 胡霞;;并行計(jì)算如何用于科學(xué)問(wèn)題研究[J];科技資訊;2009年27期

5 顏寶勇;快速富里葉變換的并行計(jì)算[J];計(jì)算機(jī)工程與科學(xué);1984年03期

6 吳靖;;一種用于基因序列比較的并行計(jì)算方法[J];國(guó)外醫(yī)學(xué).生物醫(yī)學(xué)工程分冊(cè);1992年01期

7 李斌;并行計(jì)算用的計(jì)算機(jī)和模型[J];管理科學(xué)文摘;1996年04期

8 魏臻;;高性能計(jì)算,高興能計(jì)算[J];中國(guó)教育網(wǎng)絡(luò);2010年06期

9 劉杰,遲利華,胡慶豐;優(yōu)化并行計(jì)算的性能評(píng)價(jià)[J];計(jì)算機(jī)工程與設(shè)計(jì);2000年06期

10 劉赫男,羅霄,高曉東;并行計(jì)算的現(xiàn)狀與發(fā)展[J];煤;2001年01期

相關(guān)會(huì)議論文 前10條

1 黃宇光;;整體同步并行計(jì)算方法的現(xiàn)狀與發(fā)展[A];信息科學(xué)與微電子技術(shù):中國(guó)科協(xié)第三屆青年學(xué)術(shù)年會(huì)論文集[C];1998年

2 羅文彩;陳小前;;并行計(jì)算的多方法優(yōu)化協(xié)作[A];第二十四屆中國(guó)控制會(huì)議論文集（上冊(cè)）[C];2005年

3 左風(fēng)麗;莫?jiǎng)t堯;葉文華;;計(jì)算流體三維分裂格式的高效并行計(jì)算[A];中國(guó)工程物理研究院科技年報(bào)（2003）[C];2003年

4 王欣;李志山;張志遠(yuǎn);;并行計(jì)算在彈塑性時(shí)程分析中的應(yīng)用[A];信息化推動(dòng)工程建設(shè)工業(yè)化——第四屆工程建設(shè)計(jì)算機(jī)應(yīng)用創(chuàng)新論壇論文集[C];2013年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計(jì)算改進(jìn)的平方共軛殘差法[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

6 胡金初;;并行計(jì)算中的任務(wù)分配算法[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

7 宋庭新;李慧;;面向服務(wù)的有限元并行計(jì)算網(wǎng)格系統(tǒng)設(shè)計(jì)[A];湖北省機(jī)械工程學(xué)會(huì)設(shè)計(jì)與傳動(dòng)學(xué)會(huì)、武漢機(jī)械設(shè)計(jì)與傳動(dòng)學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集（2）[C];2008年

8 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];第十四屆中國(guó)科協(xié)年會(huì)第5分會(huì)場(chǎng)：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

9 裘懿勇;徐斌;劉曉明;;并行計(jì)算作業(yè)調(diào)度系統(tǒng)的架構(gòu)及應(yīng)用[A];2012年MIS/S&A學(xué)術(shù)交流會(huì)議論文集[C];2012年

10 肖保國(guó);楊順華;邢建文;趙慧勇;;當(dāng)?shù)刈赃m應(yīng)建表方法在煤油超燃發(fā)動(dòng)機(jī)并行計(jì)算中的應(yīng)用[A];第十四屆全國(guó)激波與激波管學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 軼嘉;英特爾全球首個(gè)并行計(jì)算中心落戶無(wú)錫[N];人民郵電;2009年

2 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算任重道遠(yuǎn)[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 英特爾并行計(jì)算實(shí)驗(yàn)室研究員 TimothyMattson;并行計(jì)算:減少串行軟件[N];中國(guó)計(jì)算機(jī)報(bào);2007年

4 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計(jì)算軟件開(kāi)發(fā)概述[N];中國(guó)計(jì)算機(jī)報(bào);2007年

5 劉霞;計(jì)算能力的提升需要一場(chǎng)革命[N];科技日?qǐng)?bào);2010年

6 安世亞太 雷先華;ANSYS高性能并行計(jì)算[N];中國(guó)航空?qǐng)?bào);2005年

7 張?jiān)迫?并行計(jì)算：迎接多核時(shí)代的挑戰(zhàn)[N];計(jì)算機(jī)世界;2006年

8 本報(bào)記者 馬文方;英特爾為何要牽頭并行計(jì)算[N];中國(guó)計(jì)算機(jī)報(bào);2009年

9 英特爾 趙軍(Jun Zhao);PC機(jī)并行計(jì)算革命尚未成功[N];中國(guó)計(jì)算機(jī)報(bào);2009年

10 ;Linux下的網(wǎng)絡(luò)并行計(jì)算[N];計(jì)算機(jī)世界;2000年

相關(guān)博士學(xué)位論文 前10條

1 張雨新;改進(jìn)的MPS方法及其三維并行計(jì)算研究[D];上海交通大學(xué);2014年

2 李維山;面向領(lǐng)域應(yīng)用的空間域和頻域分解模式并行計(jì)算[D];吉林大學(xué);2016年

3 孫安香;數(shù)值氣象預(yù)報(bào)變分同化的伴隨模式并行計(jì)算[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

4 張理論;面向氣象預(yù)報(bào)數(shù)值模式的高效并行計(jì)算研究[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

5 龍柏;并行計(jì)算平臺(tái)上的數(shù)據(jù)索引技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

6 管建和;電磁場(chǎng)有限元法解釋分布式并行計(jì)算的研究[D];中國(guó)地質(zhì)大學(xué)（北京）;2006年

7 劉耀儒;三維有限元并行計(jì)算及其在水利工程中的應(yīng)用[D];清華大學(xué);2003年

8 金晶;并行計(jì)算普適編程模型及系統(tǒng)架構(gòu)研究[D];北京郵電大學(xué);2012年

9 盛艷秀;多核異構(gòu)環(huán)境下通用并行計(jì)算框架關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2013年

10 張帆;過(guò)程系統(tǒng)優(yōu)化的分布式并行計(jì)算[D];浙江大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 張康宇;基于ASAR近海風(fēng)場(chǎng)反演方法研究[D];浙江大學(xué);2015年

2 胡榮華;并行計(jì)算在臨近天氣預(yù)報(bào)系統(tǒng)中的應(yīng)用研究[D];華南理工大學(xué);2015年

3 嚴(yán)善楷;異構(gòu)系統(tǒng)中并行計(jì)算的動(dòng)態(tài)負(fù)載均衡技術(shù)研究[D];華南理工大學(xué);2015年

4 陳磊;基于監(jiān)控信號(hào)的多信息提取識(shí)別的并行計(jì)算方法[D];南京理工大學(xué);2015年

5 焦弘杰;CPU-GPU異構(gòu)并行計(jì)算體系的設(shè)計(jì)與實(shí)現(xiàn)[D];江蘇科技大學(xué);2015年

6 陳從江;基于面向云服務(wù)的Python并行計(jì)算的研究[D];電子科技大學(xué);2014年

7 唐吉卓;基于GPU平臺(tái)的SVD并行計(jì)算研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

8 吳頎;GPU并行計(jì)算及其在飛行器設(shè)計(jì)中的應(yīng)用[D];北京理工大學(xué);2015年

9 李保安;基于液態(tài)食品冷凍濃縮冰晶生長(zhǎng)機(jī)制并行計(jì)算[D];電子科技大學(xué);2013年

10 鐘承群;基于CPU/GPU異構(gòu)并行計(jì)算的OTN仿真驗(yàn)證系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

，

本文編號(hào)：2393614