發(fā)布時(shí)間：2017-11-07 18:05

  本文關(guān)鍵詞：遙感產(chǎn)品生產(chǎn)集群中動(dòng)態(tài)雙向匹配任務(wù)調(diào)度算法的應(yīng)用研究

  更多相關(guān)文章： 任務(wù)調(diào)度 動(dòng)態(tài)雙向匹配 遙感數(shù)據(jù)處理 集群

【摘要】：隨著遙感綜合應(yīng)用的不斷深化和遙感商業(yè)的興起以及遙感數(shù)據(jù)獲取領(lǐng)域相關(guān)技術(shù)的進(jìn)步,在遙感數(shù)據(jù)質(zhì)量提高的同時(shí)體量也急劇增長,給遙感數(shù)據(jù)的業(yè)務(wù)化處理帶來挑戰(zhàn)。為了提升遙感數(shù)據(jù)業(yè)務(wù)化系統(tǒng)的實(shí)用性,研制高效的遙感數(shù)據(jù)處理集群系統(tǒng)用于提高遙感數(shù)據(jù)處理的效能變得非常必要。在引入高性能集群處理系統(tǒng)實(shí)現(xiàn)遙感數(shù)據(jù)快速高效處理的過程,任務(wù)調(diào)度算法作為高性能集群處理系統(tǒng)的核心組成部分,對(duì)提高整個(gè)集群系統(tǒng)的性能起到關(guān)鍵作用,受到了研究人員和工程人員的密切關(guān)注。遙感衛(wèi)星產(chǎn)品集群系統(tǒng)中,具有遙感數(shù)據(jù)任務(wù)量多、任務(wù)類型相對(duì)單一、計(jì)算節(jié)點(diǎn)利用率不均衡等特點(diǎn),在目前已有的一些集群任務(wù)調(diào)度算法中,在某些方面存在一些不足,比如計(jì)算節(jié)點(diǎn)的利用不均衡、系統(tǒng)吞吐量小、任務(wù)調(diào)度時(shí)平均等待時(shí)間長等,難于滿足遙感數(shù)據(jù)處理的需要。針對(duì)上述問題,本文在研究有關(guān)任務(wù)調(diào)度算法的基礎(chǔ)上,考慮在遙感衛(wèi)星產(chǎn)品集群系統(tǒng)中,對(duì)遙感數(shù)據(jù)處理的時(shí)效性評(píng)估可以從處理效率和計(jì)算資源利用率兩個(gè)角度進(jìn)行,并因此提出了一種結(jié)合遙感數(shù)據(jù)處理先驗(yàn)值的動(dòng)態(tài)雙向匹配調(diào)度算法,即同步考慮先驗(yàn)值、任務(wù)情況和計(jì)算節(jié)點(diǎn)狀態(tài)的雙向調(diào)度的方法,實(shí)驗(yàn)結(jié)果表明該算法對(duì)集群系統(tǒng)中遙感數(shù)據(jù)處理效能有明顯的提高。本文主要的研究內(nèi)容和貢獻(xiàn):(1)設(shè)計(jì)并實(shí)現(xiàn)一種動(dòng)態(tài)雙向匹配調(diào)度算法通過對(duì)遙感衛(wèi)星產(chǎn)品集群系統(tǒng)的總體功能以及架構(gòu)分析,提出了一種任務(wù)調(diào)度算法模型,即結(jié)合遙感數(shù)據(jù)處理先驗(yàn)值的動(dòng)態(tài)雙向匹配調(diào)度算法。該任務(wù)調(diào)度模型是由面向任務(wù)隊(duì)列模型和面向計(jì)算節(jié)點(diǎn)隊(duì)列模型兩個(gè)部分組成:在結(jié)合先驗(yàn)值的情況下,一方面面向任務(wù)時(shí)考慮任務(wù)等待時(shí)間和任務(wù)量大小等來確定任務(wù)隊(duì)列;另一方面面向計(jì)算資源時(shí),在動(dòng)態(tài)獲取計(jì)算資源負(fù)載率的情況下,形成一個(gè)計(jì)算資源隊(duì)列;將最優(yōu)計(jì)算資源匹配給優(yōu)先級(jí)最高的任務(wù),從而完成任務(wù)和計(jì)算資源的動(dòng)態(tài)雙向匹配。(2)設(shè)計(jì)并實(shí)現(xiàn)了一種動(dòng)態(tài)切換任務(wù)調(diào)度算法的切換策略在集群處理系統(tǒng)的優(yōu)化過程中會(huì)出現(xiàn)新的任務(wù)調(diào)度算法,但是隨著集群處理系統(tǒng)處理的任務(wù),環(huán)境的不同,新的算法不一定適合于所有的運(yùn)行場景,而以往的一些調(diào)度算法有可能會(huì)適用于某些場景,根據(jù)集群系統(tǒng)處理任務(wù)或者場景的不同,合理的切換不同的任務(wù)調(diào)度算法,使集群系統(tǒng)能夠正常高效的運(yùn)行。本文設(shè)計(jì)并實(shí)現(xiàn)了一種動(dòng)態(tài)切換任務(wù)調(diào)度算法的切換策略,根據(jù)任務(wù)調(diào)度算法的特征值提取,找到對(duì)該任務(wù)調(diào)度算法影響因子最大的特征值,進(jìn)行調(diào)度算法的切換,增加了集群系統(tǒng)的靈活性。(3)將提出的結(jié)合遙感數(shù)據(jù)處理先驗(yàn)值的動(dòng)態(tài)雙向匹配調(diào)度算法和設(shè)計(jì)的動(dòng)態(tài)切換任務(wù)調(diào)度算法策略運(yùn)用到遙感衛(wèi)星產(chǎn)品集群生產(chǎn)系統(tǒng)當(dāng)中,在通過大量的實(shí)驗(yàn)驗(yàn)證后,實(shí)驗(yàn)結(jié)果表明本文所提出的任務(wù)調(diào)度算法能提高系群系統(tǒng)的性能,也即提高了計(jì)算節(jié)點(diǎn)的利用率、縮短遙感數(shù)據(jù)的處理時(shí)間、保障集群系統(tǒng)可靠性。
【學(xué)位授予單位】：河南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP79;TP301.6

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭曉薇;項(xiàng)明;張大為;劉青昆;;基于節(jié)點(diǎn)能力的Hadoop集群任務(wù)自適應(yīng)調(diào)度方法[J];計(jì)算機(jī)研究與發(fā)展;2014年03期

2 許丞;劉洪;譚良;;Hadoop云平臺(tái)的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J];計(jì)算機(jī)科學(xué);2013年01期

3 鄭逢斌;張哲;余濤;賴積保;徐輝;張謙;;一種支持多任務(wù)高效處理的遙感產(chǎn)品生產(chǎn)線架構(gòu)研究[J];計(jì)算機(jī)科學(xué);2012年S3期

4 吳煜祺;曾國蓀;曾媛;;云計(jì)算環(huán)境下調(diào)度算法的趨勢分析[J];微電子學(xué)與計(jì)算機(jī);2012年09期

5 李新;賈智平;鞠雷;趙衍恒;宗子良;;一種面向同構(gòu)集群系統(tǒng)的并行任務(wù)節(jié)能調(diào)度優(yōu)化方法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

6 劉少偉;孔令梅;任開軍;宋君強(qiáng);鄧科峰;冷洪澤;;云環(huán)境下優(yōu)化科學(xué)工作流執(zhí)行性能的兩階段數(shù)據(jù)放置與任務(wù)調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2011年11期

7 卓家靖;孟晨;;任務(wù)與資源雙向匹配的動(dòng)態(tài)任務(wù)調(diào)度策略研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年13期

8 樊興;張國平;夏學(xué)知;;一種實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡的多機(jī)情報(bào)并行處理方法[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

9 龔躍;張真真;黃小珂;劉建軍;;基于動(dòng)態(tài)雙向優(yōu)先級(jí)的任務(wù)分配與調(diào)度算法[J];計(jì)算機(jī)應(yīng)用;2009年04期

10 熊澤時(shí);李代平;;一種有效的動(dòng)態(tài)任務(wù)分配方法[J];計(jì)算機(jī)技術(shù)與發(fā)展;2007年04期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 張勇;分布式系統(tǒng)中處理機(jī)的任務(wù)調(diào)度算法研究[D];江南大學(xué);2008年

，

本文編號(hào)：1153503