本文關(guān)鍵詞：IaaS環(huán)境中科學(xué)工作流關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 云計(jì)算 基礎(chǔ)設(shè)施即服務(wù)(IaaS) 科學(xué)工作流 調(diào)度算法 啟發(fā)式算法 元啟發(fā)算法 科學(xué)工作流管理系統(tǒng)

【摘要】：科學(xué)工作流是大規(guī)�？茖W(xué)計(jì)算程序的重要組織模式之一。近年來,隨著科學(xué)研究的日趨廣泛和深入,其對(duì)計(jì)算資源的需求也呈現(xiàn)出爆炸性增長的趨勢(shì)�；A(chǔ)設(shè)施即服務(wù)(IaaS)模型是云計(jì)算中最重要的一種服務(wù)模型,其可以通過網(wǎng)絡(luò)以虛擬機(jī)的形式按需提供大量計(jì)算資源,無疑是科學(xué)工作流潛在的理想運(yùn)行環(huán)境。然而,作為新興技術(shù),IaaS平臺(tái)與傳統(tǒng)分布式計(jì)算平臺(tái)在很多方面仍然有著顯著的差異。這些差異給科學(xué)工作流的調(diào)度和執(zhí)行等都帶來了新的挑戰(zhàn)。本文圍繞IaaS環(huán)境中的科學(xué)工作流,研究包括構(gòu)造、調(diào)度和執(zhí)行在內(nèi)的若干關(guān)鍵問題,文章工作取得的主要成果及創(chuàng)新點(diǎn)包括:1)對(duì)IaaS環(huán)境中的科學(xué)工作流調(diào)度問題進(jìn)行建模,同時(shí)針對(duì)工作流執(zhí)行過程研究IaaS平臺(tái)特點(diǎn),指出由于這些特點(diǎn)(基于虛擬機(jī)的動(dòng)態(tài)資源管理方式、復(fù)雜的計(jì)費(fèi)模型以及各種數(shù)據(jù)共享選項(xiàng)等)導(dǎo)致的現(xiàn)有工作流調(diào)度算法在IaaS環(huán)境中使用時(shí)可能存在的問題。2)針對(duì)IaaS環(huán)境預(yù)算約束條件下性能優(yōu)先工作流調(diào)度問題,提出新的啟發(fā)式調(diào)度算法BHI算法。算法根據(jù)任務(wù)完成時(shí)間、當(dāng)前已用預(yù)算以及最小預(yù)留預(yù)算等啟發(fā)式信息將任務(wù)調(diào)度到合適的虛擬機(jī),在保證預(yù)算約束的條件下盡可能的尋找使工作流執(zhí)行總完成時(shí)間最小化的調(diào)度方案。同時(shí),還給出新的解決方案解決現(xiàn)有基于列表的啟發(fā)式調(diào)度算法在IaaS環(huán)境中難以應(yīng)用的問題。實(shí)驗(yàn)表明,相比現(xiàn)有算法,BHI算法在大多數(shù)情況下都可以找到更快的調(diào)度方案,同時(shí)還具有更高的調(diào)度成功率。3)針對(duì)IaaS環(huán)境中需要同時(shí)優(yōu)化總完成時(shí)間和總執(zhí)行費(fèi)用的工作流調(diào)度問題,指出現(xiàn)有各種元啟發(fā)算法特別是進(jìn)化算法的不足;同時(shí),設(shè)計(jì)新的基于進(jìn)化算法的EMS-C調(diào)度算法。該算法針對(duì)IaaS環(huán)境提出全新的問題特定編碼方式、交叉/變異算子和更有效的種群初始化方法�；诂F(xiàn)實(shí)工作流應(yīng)用和Amazon EC2平臺(tái)虛擬機(jī)配置的實(shí)驗(yàn)證實(shí)了 EMS-C算法設(shè)計(jì)的有效性;4)針對(duì)IaaS環(huán)境中的多目標(biāo)工作流調(diào)度問題,提出新的元啟發(fā)調(diào)度算法ESC算法。算法采用進(jìn)化的思想,但設(shè)計(jì)了全新的基于虛擬機(jī)合并、分裂和配置突變的搜索方法,同時(shí)對(duì)包括種群初始化和新個(gè)體生成策略在內(nèi)的迭代搜索過程也進(jìn)行改進(jìn)。實(shí)驗(yàn)表明該算法調(diào)度結(jié)果優(yōu)于MOHEFT等現(xiàn)有調(diào)度算法,同時(shí)相比現(xiàn)有各種元啟發(fā)調(diào)度算法具有更強(qiáng)的搜索能力和更快的搜索速度。5)為解決復(fù)雜科學(xué)工作流的建模問題,同時(shí)充分利用IaaS資源執(zhí)行科學(xué)工作流應(yīng)用,設(shè)計(jì)并實(shí)現(xiàn)Brick科學(xué)工作流工具包。工具包允許用戶使用Python腳本便捷地隱式創(chuàng)建科學(xué)工作流,同時(shí)內(nèi)置了各種靜態(tài)/動(dòng)態(tài)調(diào)度引擎并支持包括IaaS平臺(tái)/虛擬機(jī)在內(nèi)的各種計(jì)算環(huán)境和資源組織形式。文章通過一個(gè)真實(shí)工作流應(yīng)用完整的創(chuàng)建、執(zhí)行和分析過程展示了 Brick工具包的可用性和便利性。6)為使遺留科學(xué)計(jì)算代碼可以使用科學(xué)工作流技術(shù)和IaaS平臺(tái)計(jì)算資源的進(jìn)行優(yōu)化和加速,在Brick工具包中還包括了 Briareus組件。該組件可以在僅添加數(shù)條描述性注釋的情況下對(duì)一個(gè)已有的Python計(jì)算程序進(jìn)行工作流化的改造,同時(shí)允許將指定的計(jì)算任務(wù)自動(dòng)、透明地遷移到IaaS平臺(tái)進(jìn)行。文章通過兩個(gè)科學(xué)計(jì)算程序?qū)嵗龑?shí)際運(yùn)行效果展示了 Briareus組件的易用性和有效性。
【學(xué)位授予單位】：南京理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP301.6
，

本文編號(hào)：1299807