云計(jì)算環(huán)境下科學(xué)工作流調(diào)度策略研究
發(fā)布時(shí)間:2021-10-20 17:56
通過云計(jì)算技術(shù)能降低運(yùn)營成本,保障基礎(chǔ)設(shè)施更加穩(wěn)定和高效地運(yùn)行。在科學(xué)研究中存在著計(jì)算密集且需要處理大量具有依賴關(guān)系數(shù)據(jù)的任務(wù)。工作流技術(shù)能夠使復(fù)雜的科學(xué)任務(wù)自動(dòng)化執(zhí)行,這叫做科學(xué)工作流。科學(xué)工作流需要對海量數(shù)據(jù)進(jìn)行計(jì)算和存儲(chǔ),故只能部署到分布式環(huán)境中。分布式集群系統(tǒng)或網(wǎng)格系統(tǒng)的成本較高,而云計(jì)算具有成本低、性能高、計(jì)算和存儲(chǔ)資源無限的特點(diǎn),所以科學(xué)工作流一般在云環(huán)境中執(zhí)行。結(jié)合云計(jì)算的新特性開發(fā)高效工作流調(diào)度方法就成為一個(gè)重要的研究方向。論文主要研究云計(jì)算環(huán)境下科學(xué)工作流的調(diào)度問題。論文的主要研究內(nèi)容包括以下方面:(1)針對科學(xué)工作流任務(wù)的調(diào)度和執(zhí)行進(jìn)行建模,討論現(xiàn)有工作流調(diào)度算法和執(zhí)行框架可能會(huì)遇到的挑戰(zhàn)和改進(jìn)方向。(2)對科學(xué)工作流的調(diào)度問題進(jìn)行研究,提出兩種調(diào)度方法。第一種調(diào)度方法是預(yù)算和截止時(shí)間受限的工作流調(diào)度方法,該算法能在截止時(shí)間和預(yù)算均受限的情況下對科學(xué)工作流進(jìn)行調(diào)度。實(shí)驗(yàn)表明算法擁有較好的性能。第二種調(diào)度方法是基于截止時(shí)間的工作流容錯(cuò)調(diào)度方法。該算法在調(diào)度時(shí)考慮了虛擬機(jī)出現(xiàn)故障的情況,優(yōu)先調(diào)度位于關(guān)鍵路徑上的子任務(wù),縮短了整個(gè)工作流應(yīng)用的總體完成時(shí)間。(3)在Open...
【文章來源】:南京郵電大學(xué)江蘇省
【文章頁數(shù)】:76 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云計(jì)算的服務(wù)類型(1)按架構(gòu)的三層應(yīng)用業(yè)務(wù)模式劃分
QoS 給科學(xué)工作流的調(diào)度提供了標(biāo)準(zhǔn),但也使得工作流調(diào)度問題更加復(fù)雜。在本章中,介紹了名為針對異質(zhì)資源的預(yù)算和截止時(shí)間受限的工作流調(diào)度方法。服務(wù)質(zhì)量中很重要的因素有預(yù)算和截止時(shí)間,本章提出的算法同時(shí)考慮了這兩個(gè)要素。根據(jù)用戶給定的預(yù)算和截止時(shí)間,算法會(huì)嘗試給出一個(gè)合適的調(diào)度方案。通過充分的實(shí)驗(yàn)表明,算法能夠高效地完成調(diào)度任務(wù)。3.1 引言云計(jì)算是一種商業(yè)計(jì)算模型。通過該模型,用戶能方便的按需獲取計(jì)算能力、存儲(chǔ)空間和網(wǎng)絡(luò)帶寬等資源。云計(jì)算最基本的思路是通過網(wǎng)絡(luò)自動(dòng)地把龐大的計(jì)算程序劃分成更小程序的有序組合。程序劃分完畢后,再把它們提交給由許多服務(wù)器構(gòu)成的更大的系統(tǒng),最終計(jì)算出結(jié)果并反饋給用戶。通過這種先進(jìn)的技術(shù),云計(jì)算能夠讓普通用戶獲取以往只能通過使用“超級(jí)計(jì)算機(jī)”才能得到的資源和便利。
Pegasus工作流管理系統(tǒng)OpenStack私有云層執(zhí)行層圖 5.2 調(diào)度模塊層次圖整個(gè)系統(tǒng)可以分為四個(gè)層次,分別是 Web 訪問層、應(yīng)用接口層、工作流調(diào)度層和執(zhí)行層照從上到下的次序,高層都依賴于底層提供的服務(wù)。Web 訪問層給用戶提供一個(gè)監(jiān)視工執(zhí)行和排查錯(cuò)誤的 Web 頁面。Web 訪問層使用應(yīng)用接口層提供的 API。API 接口是使用ython 程序設(shè)計(jì)語言和 Flask 框架開發(fā)的。工作流調(diào)度層主要由 Pegasus 工作流調(diào)度系統(tǒng)構(gòu)工作流調(diào)度層使用各種調(diào)度方法完成對工作流應(yīng)用的高效調(diào)度。工作流調(diào)度層最終會(huì)把流的子任務(wù)調(diào)度到執(zhí)行層的合適的“執(zhí)行站點(diǎn)”上。執(zhí)行層主要負(fù)責(zé)存儲(chǔ)工作流應(yīng)用相據(jù)和執(zhí)行計(jì)算任務(wù),可以看做計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成的集合。
【參考文獻(xiàn)】:
期刊論文
[1]云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J]. 羅軍舟,金嘉暉,宋愛波,東方. 通信學(xué)報(bào). 2011(07)
[2]基于逆向分層的網(wǎng)格工作流調(diào)度算法[J]. 苑迎春,李小平,王茜,張毅. 計(jì)算機(jī)學(xué)報(bào). 2008(02)
[3]XEN虛擬機(jī)分析[J]. 薛海峰,卿斯?jié)h,張煥國. 系統(tǒng)仿真學(xué)報(bào). 2007(23)
本文編號(hào):3447349
【文章來源】:南京郵電大學(xué)江蘇省
【文章頁數(shù)】:76 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云計(jì)算的服務(wù)類型(1)按架構(gòu)的三層應(yīng)用業(yè)務(wù)模式劃分
QoS 給科學(xué)工作流的調(diào)度提供了標(biāo)準(zhǔn),但也使得工作流調(diào)度問題更加復(fù)雜。在本章中,介紹了名為針對異質(zhì)資源的預(yù)算和截止時(shí)間受限的工作流調(diào)度方法。服務(wù)質(zhì)量中很重要的因素有預(yù)算和截止時(shí)間,本章提出的算法同時(shí)考慮了這兩個(gè)要素。根據(jù)用戶給定的預(yù)算和截止時(shí)間,算法會(huì)嘗試給出一個(gè)合適的調(diào)度方案。通過充分的實(shí)驗(yàn)表明,算法能夠高效地完成調(diào)度任務(wù)。3.1 引言云計(jì)算是一種商業(yè)計(jì)算模型。通過該模型,用戶能方便的按需獲取計(jì)算能力、存儲(chǔ)空間和網(wǎng)絡(luò)帶寬等資源。云計(jì)算最基本的思路是通過網(wǎng)絡(luò)自動(dòng)地把龐大的計(jì)算程序劃分成更小程序的有序組合。程序劃分完畢后,再把它們提交給由許多服務(wù)器構(gòu)成的更大的系統(tǒng),最終計(jì)算出結(jié)果并反饋給用戶。通過這種先進(jìn)的技術(shù),云計(jì)算能夠讓普通用戶獲取以往只能通過使用“超級(jí)計(jì)算機(jī)”才能得到的資源和便利。
Pegasus工作流管理系統(tǒng)OpenStack私有云層執(zhí)行層圖 5.2 調(diào)度模塊層次圖整個(gè)系統(tǒng)可以分為四個(gè)層次,分別是 Web 訪問層、應(yīng)用接口層、工作流調(diào)度層和執(zhí)行層照從上到下的次序,高層都依賴于底層提供的服務(wù)。Web 訪問層給用戶提供一個(gè)監(jiān)視工執(zhí)行和排查錯(cuò)誤的 Web 頁面。Web 訪問層使用應(yīng)用接口層提供的 API。API 接口是使用ython 程序設(shè)計(jì)語言和 Flask 框架開發(fā)的。工作流調(diào)度層主要由 Pegasus 工作流調(diào)度系統(tǒng)構(gòu)工作流調(diào)度層使用各種調(diào)度方法完成對工作流應(yīng)用的高效調(diào)度。工作流調(diào)度層最終會(huì)把流的子任務(wù)調(diào)度到執(zhí)行層的合適的“執(zhí)行站點(diǎn)”上。執(zhí)行層主要負(fù)責(zé)存儲(chǔ)工作流應(yīng)用相據(jù)和執(zhí)行計(jì)算任務(wù),可以看做計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成的集合。
【參考文獻(xiàn)】:
期刊論文
[1]云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J]. 羅軍舟,金嘉暉,宋愛波,東方. 通信學(xué)報(bào). 2011(07)
[2]基于逆向分層的網(wǎng)格工作流調(diào)度算法[J]. 苑迎春,李小平,王茜,張毅. 計(jì)算機(jī)學(xué)報(bào). 2008(02)
[3]XEN虛擬機(jī)分析[J]. 薛海峰,卿斯?jié)h,張煥國. 系統(tǒng)仿真學(xué)報(bào). 2007(23)
本文編號(hào):3447349
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3447349.html
最近更新
教材專著