面向成本優(yōu)化的批處理科學(xué)工作流的DEADLINE分解和調(diào)度
發(fā)布時(shí)間:2021-03-09 18:38
隨著云計(jì)算應(yīng)用的不斷深入以及對(duì)大數(shù)據(jù)處理需求的不斷提升,越來越多的企業(yè)選擇使用云平臺(tái)來處理海量的數(shù)據(jù)。由于云計(jì)算的商業(yè)性,這就對(duì)云計(jì)算中的任務(wù)調(diào)度提出了更加嚴(yán)苛的要求,如何合理且經(jīng)濟(jì)的完成任務(wù)調(diào)度成為了研究云計(jì)算的關(guān)鍵問題之一。批處理科學(xué)工作流是大數(shù)據(jù)時(shí)代的一種新型工作流建模形式,近兩年已引起業(yè)內(nèi)的重視,但當(dāng)前仍處于起步階段。傳統(tǒng)的科學(xué)工作流任務(wù)調(diào)度算法已經(jīng)不適用于批處理科學(xué)工作流。因此,本文在前人研究的基礎(chǔ)上,圍繞帶有截止期的批處理科學(xué)工作流任務(wù)調(diào)度模型,對(duì)整體調(diào)度成本進(jìn)行探討與研究,提出了一種批處理科學(xué)工作流基于規(guī)則迭代的動(dòng)態(tài)Deadline劃分方法和一種基于改進(jìn)遺傳算法的批處理科學(xué)工作流任務(wù)調(diào)度算法。傳統(tǒng)的Deadline劃分方法不僅不能適應(yīng)批處理科學(xué)工作流,同時(shí)其劃分方式過于簡(jiǎn)單也導(dǎo)致了在實(shí)際任務(wù)調(diào)度過程中不能合理的劃分各部分的任務(wù)調(diào)度時(shí)間從而導(dǎo)致任務(wù)調(diào)度成本大大增加。因此本文提出了一種基于規(guī)則迭代的動(dòng)態(tài)Deadline劃分方法,該方法通過合理的降低并行度或升級(jí)虛擬機(jī),同時(shí)并重收縮非關(guān)鍵路徑上的虛擬機(jī)使用數(shù)量,使得該方法可以更好劃分批處理科學(xué)工作流的Deadline。在傳統(tǒng)遺傳...
【文章來源】:天津科技大學(xué)天津市
【文章頁數(shù)】:53 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖3-1科學(xué)工作流DAG模型??
?3基于簡(jiǎn)單規(guī)則的批處理科學(xué)工作流Deadlme劃分方法???巨大,需要利用分布式處理環(huán)境進(jìn)行并行處理,因此這些節(jié)點(diǎn)變成了由批量獨(dú)立任務(wù)??構(gòu)成的批處理任務(wù)組,在原有科學(xué)工作流模型的基礎(chǔ)上形成了批處理科學(xué)工作流[69]。??為了方便描述,對(duì)批處理科學(xué)工作流進(jìn)行如下建模:??1)圖3-2為一個(gè)批處理科學(xué)工作流DAG?(Directed?Acyclic?Graph),對(duì)于一個(gè)標(biāo)??準(zhǔn)的DAG圖來說,入口節(jié)點(diǎn)是其他所有任務(wù)的前驅(qū)節(jié)點(diǎn),其優(yōu)先度是最高的,故在??所有任務(wù)節(jié)點(diǎn)中入口節(jié)點(diǎn)應(yīng)該最先獲得調(diào)度,出口節(jié)點(diǎn)與之同理[7<)]。???20^—20—20;-?—10—10—10—??????C(^?d)?^))Bo?(j)?^)T?喊會(huì)?Jg〇B6??bi?b?)B???rS?¥))?Bz?(S?&)?B5i?k?(§?^)??Sl??i任務(wù)單元()任務(wù)批??圖3-2標(biāo)準(zhǔn)批處理科學(xué)工作流DAG圖??Fig.3-2?Standard?batch?processing?science?workflow?DAG?diagram??2)需要進(jìn)行任務(wù)調(diào)度的任務(wù)批為「U2,…,C)5其中(代表編號(hào)為/的任務(wù)節(jié)點(diǎn)。在??每一個(gè)任務(wù)節(jié)點(diǎn)上包含若干個(gè)子任務(wù),即c=(((iU(2),.w),((*)代表彳任務(wù)節(jié)點(diǎn)上的??第左個(gè)任務(wù)包。??3)定義批處理科學(xué)工作流為有向無環(huán)圖DAG,任務(wù)節(jié)點(diǎn)(為有向無環(huán)圖DAG上??的一個(gè)節(jié)點(diǎn)。??4)假設(shè)云平臺(tái)提供W種不同類型的虛擬機(jī),將任務(wù)節(jié)點(diǎn)(上的9個(gè)子任務(wù)調(diào)度到??不同虛擬機(jī)上的期望運(yùn)行時(shí)間ETC?(excepted?time?to?computer)是一個(gè)所的矩陣,?
?4基于改進(jìn)遺傳算法的批處理科學(xué)工作流Deadline劃分方法???(?瓶?^??i??生成切始種群???]r???i十篤每個(gè)個(gè)體的適應(yīng)??度值???ijr???以暖率遺傳s子. ̄??不■進(jìn)行交艾變舜操??作.淘汰劣質(zhì)解.:主成?i??新的解。?j?tr???]?r???得-_到新的種群??丄??73E??經(jīng)過多次迭代達(dá)刻停止??條餑時(shí),根據(jù)適應(yīng)度函??數(shù)保留一^最_??非關(guān)鍵蹈徑虛擬機(jī)使??用數(shù)S收縮操作???][???(?親)??圖4-1改進(jìn)遺傳算法算法流程圖??Fig?.4-1?flow?chart?of?improved?genetic?algorithm??20??
【參考文獻(xiàn)】:
期刊論文
[1]基于云計(jì)算系統(tǒng)的數(shù)據(jù)傳輸安全與存儲(chǔ)安全的策略研究[J]. 趙瑞芬. 信息與電腦(理論版). 2018(23)
[2]云計(jì)算環(huán)境下虛擬機(jī)部署策略研究[J]. 袁愛平. 計(jì)算機(jī)與數(shù)字工程. 2018(08)
[3]截止時(shí)間約束云工作流調(diào)度代價(jià)優(yōu)化遺傳算法[J]. 余科軍,張建州. 計(jì)算機(jī)工程與設(shè)計(jì). 2018(07)
[4]基于遺傳算法的云任務(wù)調(diào)度改進(jìn)算法[J]. 任金霞,黃藝培,鐘小康. 江西理工大學(xué)學(xué)報(bào). 2018(03)
[5]云科學(xué)工作流中任務(wù)可完成性預(yù)測(cè)方法[J]. 吳修國,蘇瑋. 計(jì)算機(jī)研究與發(fā)展. 2018(03)
[6]云計(jì)算環(huán)境下基于改進(jìn)遺傳算法的多維約束任務(wù)調(diào)度研究[J]. 李超,戴炳榮,曠志光,吳小麗,孫融清. 小型微型計(jì)算機(jī)系統(tǒng). 2017(09)
[7]云計(jì)算環(huán)境下差異化資源的合理調(diào)度模型改進(jìn)[J]. 陳榕利,陳曉忠,方興. 現(xiàn)代電子技術(shù). 2017(12)
[8]云計(jì)算基于遺傳粒子群算法的多目標(biāo)任務(wù)調(diào)度[J]. 劉春燕,楊巍巍. 計(jì)算機(jī)技術(shù)與發(fā)展. 2017(02)
[9]基于混合遺傳算法的并行測(cè)試任務(wù)調(diào)度研究[J]. 秦勇,梁旭. 國外電子測(cè)量技術(shù). 2016(09)
[10]面向數(shù)據(jù)密集型工作流的QoS-aware調(diào)度算法[J]. 萬聰,王翠榮,王聰. 系統(tǒng)仿真學(xué)報(bào). 2016(03)
博士論文
[1]云計(jì)算環(huán)境下工作流應(yīng)用的資源供應(yīng)方法[D]. 蔡志成.東南大學(xué) 2015
碩士論文
[1]面向云數(shù)據(jù)中心的動(dòng)態(tài)高能效虛擬機(jī)調(diào)度算法研究[D]. 徐舒婷.西北大學(xué) 2017
[2]云計(jì)算環(huán)境下虛擬資源調(diào)度策略的研究[D]. 黃青.武漢理工大學(xué) 2017
[3]云環(huán)境下科學(xué)工作流執(zhí)行優(yōu)化策略的研究[D]. 段菊.西北師范大學(xué) 2016
[4]帶截止期約束的多模態(tài)云服務(wù)工作流調(diào)度方法[D]. 張躍.東南大學(xué) 2015
[5]云環(huán)境下的工作流調(diào)度方法研究[D]. 劉海濤.北京理工大學(xué) 2015
[6]云計(jì)算獨(dú)立任務(wù)及關(guān)聯(lián)任務(wù)調(diào)度算法研究[D]. 張曉磊.重慶大學(xué) 2014
本文編號(hào):3073288
【文章來源】:天津科技大學(xué)天津市
【文章頁數(shù)】:53 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖3-1科學(xué)工作流DAG模型??
?3基于簡(jiǎn)單規(guī)則的批處理科學(xué)工作流Deadlme劃分方法???巨大,需要利用分布式處理環(huán)境進(jìn)行并行處理,因此這些節(jié)點(diǎn)變成了由批量獨(dú)立任務(wù)??構(gòu)成的批處理任務(wù)組,在原有科學(xué)工作流模型的基礎(chǔ)上形成了批處理科學(xué)工作流[69]。??為了方便描述,對(duì)批處理科學(xué)工作流進(jìn)行如下建模:??1)圖3-2為一個(gè)批處理科學(xué)工作流DAG?(Directed?Acyclic?Graph),對(duì)于一個(gè)標(biāo)??準(zhǔn)的DAG圖來說,入口節(jié)點(diǎn)是其他所有任務(wù)的前驅(qū)節(jié)點(diǎn),其優(yōu)先度是最高的,故在??所有任務(wù)節(jié)點(diǎn)中入口節(jié)點(diǎn)應(yīng)該最先獲得調(diào)度,出口節(jié)點(diǎn)與之同理[7<)]。???20^—20—20;-?—10—10—10—??????C(^?d)?^))Bo?(j)?^)T?喊會(huì)?Jg〇B6??bi?b?)B???rS?¥))?Bz?(S?&)?B5i?k?(§?^)??Sl??i任務(wù)單元()任務(wù)批??圖3-2標(biāo)準(zhǔn)批處理科學(xué)工作流DAG圖??Fig.3-2?Standard?batch?processing?science?workflow?DAG?diagram??2)需要進(jìn)行任務(wù)調(diào)度的任務(wù)批為「U2,…,C)5其中(代表編號(hào)為/的任務(wù)節(jié)點(diǎn)。在??每一個(gè)任務(wù)節(jié)點(diǎn)上包含若干個(gè)子任務(wù),即c=(((iU(2),.w),((*)代表彳任務(wù)節(jié)點(diǎn)上的??第左個(gè)任務(wù)包。??3)定義批處理科學(xué)工作流為有向無環(huán)圖DAG,任務(wù)節(jié)點(diǎn)(為有向無環(huán)圖DAG上??的一個(gè)節(jié)點(diǎn)。??4)假設(shè)云平臺(tái)提供W種不同類型的虛擬機(jī),將任務(wù)節(jié)點(diǎn)(上的9個(gè)子任務(wù)調(diào)度到??不同虛擬機(jī)上的期望運(yùn)行時(shí)間ETC?(excepted?time?to?computer)是一個(gè)所的矩陣,?
?4基于改進(jìn)遺傳算法的批處理科學(xué)工作流Deadline劃分方法???(?瓶?^??i??生成切始種群???]r???i十篤每個(gè)個(gè)體的適應(yīng)??度值???ijr???以暖率遺傳s子. ̄??不■進(jìn)行交艾變舜操??作.淘汰劣質(zhì)解.:主成?i??新的解。?j?tr???]?r???得-_到新的種群??丄??73E??經(jīng)過多次迭代達(dá)刻停止??條餑時(shí),根據(jù)適應(yīng)度函??數(shù)保留一^最_??非關(guān)鍵蹈徑虛擬機(jī)使??用數(shù)S收縮操作???][???(?親)??圖4-1改進(jìn)遺傳算法算法流程圖??Fig?.4-1?flow?chart?of?improved?genetic?algorithm??20??
【參考文獻(xiàn)】:
期刊論文
[1]基于云計(jì)算系統(tǒng)的數(shù)據(jù)傳輸安全與存儲(chǔ)安全的策略研究[J]. 趙瑞芬. 信息與電腦(理論版). 2018(23)
[2]云計(jì)算環(huán)境下虛擬機(jī)部署策略研究[J]. 袁愛平. 計(jì)算機(jī)與數(shù)字工程. 2018(08)
[3]截止時(shí)間約束云工作流調(diào)度代價(jià)優(yōu)化遺傳算法[J]. 余科軍,張建州. 計(jì)算機(jī)工程與設(shè)計(jì). 2018(07)
[4]基于遺傳算法的云任務(wù)調(diào)度改進(jìn)算法[J]. 任金霞,黃藝培,鐘小康. 江西理工大學(xué)學(xué)報(bào). 2018(03)
[5]云科學(xué)工作流中任務(wù)可完成性預(yù)測(cè)方法[J]. 吳修國,蘇瑋. 計(jì)算機(jī)研究與發(fā)展. 2018(03)
[6]云計(jì)算環(huán)境下基于改進(jìn)遺傳算法的多維約束任務(wù)調(diào)度研究[J]. 李超,戴炳榮,曠志光,吳小麗,孫融清. 小型微型計(jì)算機(jī)系統(tǒng). 2017(09)
[7]云計(jì)算環(huán)境下差異化資源的合理調(diào)度模型改進(jìn)[J]. 陳榕利,陳曉忠,方興. 現(xiàn)代電子技術(shù). 2017(12)
[8]云計(jì)算基于遺傳粒子群算法的多目標(biāo)任務(wù)調(diào)度[J]. 劉春燕,楊巍巍. 計(jì)算機(jī)技術(shù)與發(fā)展. 2017(02)
[9]基于混合遺傳算法的并行測(cè)試任務(wù)調(diào)度研究[J]. 秦勇,梁旭. 國外電子測(cè)量技術(shù). 2016(09)
[10]面向數(shù)據(jù)密集型工作流的QoS-aware調(diào)度算法[J]. 萬聰,王翠榮,王聰. 系統(tǒng)仿真學(xué)報(bào). 2016(03)
博士論文
[1]云計(jì)算環(huán)境下工作流應(yīng)用的資源供應(yīng)方法[D]. 蔡志成.東南大學(xué) 2015
碩士論文
[1]面向云數(shù)據(jù)中心的動(dòng)態(tài)高能效虛擬機(jī)調(diào)度算法研究[D]. 徐舒婷.西北大學(xué) 2017
[2]云計(jì)算環(huán)境下虛擬資源調(diào)度策略的研究[D]. 黃青.武漢理工大學(xué) 2017
[3]云環(huán)境下科學(xué)工作流執(zhí)行優(yōu)化策略的研究[D]. 段菊.西北師范大學(xué) 2016
[4]帶截止期約束的多模態(tài)云服務(wù)工作流調(diào)度方法[D]. 張躍.東南大學(xué) 2015
[5]云環(huán)境下的工作流調(diào)度方法研究[D]. 劉海濤.北京理工大學(xué) 2015
[6]云計(jì)算獨(dú)立任務(wù)及關(guān)聯(lián)任務(wù)調(diào)度算法研究[D]. 張曉磊.重慶大學(xué) 2014
本文編號(hào):3073288
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3073288.html
最近更新
教材專著