發(fā)布時(shí)間：2018-06-04 12:32

  本文選題：云計(jì)算 + 資源調(diào)度�。� 參考：《東華大學(xué)》2016年博士論文

【摘要】：近年來,云計(jì)算由于其高可擴(kuò)展性、較強(qiáng)的通用性和按需提供服務(wù)等特點(diǎn),已經(jīng)得到了政府和行業(yè)越來越多的認(rèn)可和使用。隨著云計(jì)算應(yīng)用的普及,云數(shù)據(jù)中心所承擔(dān)的工作勢必將越來越繁重。面對愈加繁重的任務(wù),如何對大量異構(gòu)資源進(jìn)行合理的調(diào)度以保證云數(shù)據(jù)中心高效、穩(wěn)定的運(yùn)行就顯得尤為重要,特別是當(dāng)處理的任務(wù)是各任務(wù)間具有依賴關(guān)系的工作流任務(wù)時(shí),因?yàn)樗苯雨P(guān)系到云計(jì)算的服務(wù)質(zhì)量和效益以及用戶的滿意程度。本論文針對任務(wù)間具有依賴關(guān)系的工作流任務(wù),分別研究了多目標(biāo)和容錯(cuò)要求下的云計(jì)算資源調(diào)度問題,主要內(nèi)容包括如下幾個(gè)方面:(1)針對多目標(biāo)要求,設(shè)計(jì)了一種內(nèi)分泌-多種群協(xié)作進(jìn)化啟發(fā)的多目標(biāo)優(yōu)化算法(ECMSMOO),并將其應(yīng)用到面向工作流任務(wù)的云計(jì)算資源多目標(biāo)調(diào)度之中。ECMSMOO采用多個(gè)種群實(shí)現(xiàn)多目標(biāo)優(yōu)化,每個(gè)種群以一個(gè)優(yōu)化目標(biāo)為主進(jìn)行優(yōu)化。同時(shí),ECMSMOO還設(shè)計(jì)了一種種群間的競爭與合作機(jī)制來實(shí)現(xiàn)種群之間的信息交流與合作,從而使其能夠搜索到更好的前沿面。為了避免粒子陷入局部最優(yōu)解,受內(nèi)分泌系統(tǒng)中促激素和釋放激素工作機(jī)制的啟發(fā),ECMSMOO還嵌入了一個(gè)受內(nèi)分泌啟發(fā)的進(jìn)化策略,從而更好地利用外部檔案集中的粒子。最后通過對比驗(yàn)證,證明了ECMSMOO在云計(jì)算資源多目標(biāo)調(diào)度中的有效性。(2)針對容錯(cuò)的要求,受免疫系統(tǒng)工作機(jī)理的啟發(fā),設(shè)計(jì)了一種面向工作流的云計(jì)算資源重調(diào)度算法(IRW)。IRW模擬免疫系統(tǒng)的工作機(jī)制,由監(jiān)測模塊、應(yīng)答模塊、學(xué)習(xí)模塊和記憶模塊等四個(gè)模塊相互協(xié)同工作,從而為工作流執(zhí)行過程中因資源故障而不能順利執(zhí)行的任務(wù)提供相應(yīng)的重調(diào)度策略,特別適用于相同故障再次發(fā)生的情況。為了提高搜索速度,IRW采用K-means算法將資源池中的可用資源進(jìn)行聚類,從而縮小抗體查找的范圍。同時(shí),針對資源池中資源不能滿足重調(diào)度服務(wù)質(zhì)量要求的情況,IRW還利用虛擬化技術(shù)創(chuàng)建新的虛擬機(jī)來滿足任務(wù)對服務(wù)質(zhì)量的要求。最后,通過實(shí)驗(yàn)驗(yàn)證了IRW的可行性和有效性。(3)針對容錯(cuò)的要求,基于Primary-Backup(PB)模式設(shè)計(jì)了一種面向工作流任務(wù)的云計(jì)算資源彈性容錯(cuò)調(diào)度算法(FTESW)。算法首先分析了云計(jì)算環(huán)境中任務(wù)之間的依賴關(guān)系對基于PB模式的容錯(cuò)調(diào)度的約束,然后分析了容錯(cuò)調(diào)度對虛擬機(jī)遷移的約束�；谶@些工作,在保證容錯(cuò)的需求下,算法設(shè)計(jì)了云計(jì)算環(huán)境中面向工作流任務(wù)的彈性資源提供策略,包括資源擴(kuò)展策略和資源整合策略,然后設(shè)計(jì)了相應(yīng)的任務(wù)主本彈性容錯(cuò)調(diào)度策略和任務(wù)副本彈性容錯(cuò)調(diào)度策略。最后通過仿真實(shí)驗(yàn)驗(yàn)證了FTESW能夠在實(shí)現(xiàn)容錯(cuò)的前提下,可有效的提高系統(tǒng)的資源利用率。(4)同樣針對容錯(cuò)要求,提出了一種面向不平衡工作流的云計(jì)算資源容錯(cuò)策略的自適應(yīng)選擇算法(IMWSFW)。該算法將復(fù)制和重調(diào)度兩個(gè)容錯(cuò)策略有效地結(jié)合起來,以發(fā)揮它們各自在容錯(cuò)中的優(yōu)勢,并盡量滿足工作的軟期限。IMWSFW首先對工作流的軟期限進(jìn)行了劃分,使得每個(gè)任務(wù)均有自身的子期限。然后基于任務(wù)子期限的不平衡性和云計(jì)算資源性能的異構(gòu)性,為每個(gè)任務(wù)從復(fù)制和重調(diào)度中選擇相應(yīng)的容錯(cuò)策略。然后,結(jié)合云計(jì)算系統(tǒng)資源按需提供的特點(diǎn),IMWSFW為每個(gè)任務(wù)選擇相應(yīng)的虛擬機(jī)并預(yù)定相應(yīng)的服務(wù)時(shí)間間隔。對于選擇重調(diào)度作為其容錯(cuò)策略的任務(wù),當(dāng)其在首次執(zhí)行過程中遇到故障時(shí),IMWSFW通過在線重調(diào)度為其提供相應(yīng)的容錯(cuò)策略。為了充分利用任務(wù)間的時(shí)間間隔,在任務(wù)執(zhí)行過程中,IMWSFW還通過在線預(yù)留調(diào)整機(jī)制來擴(kuò)展部分未執(zhí)行任務(wù)的子截止期。最后通過仿真實(shí)驗(yàn)驗(yàn)證了所提的IMWSFW算法能夠提供較好的容錯(cuò)調(diào)度策略,且比重調(diào)度容錯(cuò)策略具有更高的任務(wù)完成率;同時(shí)比副本復(fù)制容錯(cuò)調(diào)度策略具有更高的資源利用率。最后,對全論文的研究工作進(jìn)行了總結(jié),指出了其中的不足,并對下一步的研究工作和方向進(jìn)行了展望。
[Abstract]:In recent years, cloud computing has gained more and more recognition and use by the government and industry because of its high scalability, strong generality and service on demand. With the popularization of cloud computing applications, the work potential of the cloud data center will become more and more heavy. Reasonable scheduling is particularly important to ensure the efficient and stable operation of the cloud data center, especially when the task is a workflow task with dependency between various tasks, because it is directly related to the service quality and efficiency of the cloud computing and the satisfaction of the users. This paper is dependent on the dependency relationship between the tasks. The task of workflow task is to study the problem of cloud computing resource scheduling under multi-objective and fault-tolerant requirements. The main contents include the following aspects: (1) a multi-objective optimization algorithm (ECMSMOO) is designed for multi-objective requirements, and it is applied to the cloud computing resources for workflow tasks. In multi-objective scheduling,.ECMSMOO uses multiple populations to achieve multi-objective optimization, and each population is optimized by an optimization goal. At the same time, ECMSMOO also designs a variety of groups of competition and cooperation mechanisms to achieve information exchange and cooperation among populations, so that they can search for better frontiers. In order to avoid particle subsidence. In the local optimal solution, inspired by the mechanism of hormone and releasing hormone in the endocrine system, ECMSMOO also embeds an evolutionary strategy inspired by endocrinology to make better use of the particles in the external archives. Finally, the effectiveness of ECMSMOO in multi-objective scheduling of cloud computing resources is proved by comparison and verification. (2) fault tolerance is aimed at fault tolerance. Inspired by the working mechanism of the immune system, the work mechanism of a workflow based cloud computing resource rescheduling algorithm (IRW).IRW simulation immune system is designed, which are worked together by four modules, such as monitoring module, response module, learning module and memory module. In order to improve the search speed, IRW uses the K-means algorithm to cluster the available resources in the resource pool to reduce the range of antibody search. At the same time, the resources in the resource pool can not meet the quality requirements of the rescheduling service. In addition, IRW also uses virtualization technology to create new virtual machines to meet the requirements of service quality. Finally, the feasibility and effectiveness of IRW are verified by experiments. (3) based on the requirement of fault tolerance, a flexible fault tolerant scheduling algorithm for cloud computing resources for workflow tasks (FTESW) is designed based on the Primary-Backup (PB) model. The method first analyzes the constraints of the dependencies between tasks in the cloud computing environment to the PB based fault-tolerant scheduling, and then analyzes the constraints of the fault-tolerant scheduling on the migration of the virtual machine. Based on these tasks, the algorithm designs a flexible resource provision strategy for the work flow task in the cloud computing environment under the requirement of fault tolerance. Source extension strategy and resource integration strategy, then the corresponding task master resilient fault-tolerant scheduling strategy and task replica resilient fault-tolerant scheduling strategy are designed. Finally, the simulation experiments show that FTESW can effectively improve the resource utilization of the system under the premise of fault tolerance. (4) a kind of face is also proposed for the fault tolerance requirements. The adaptive selection algorithm (IMWSFW) for the fault-tolerant strategy of cloud computing resources to unbalanced workflow. This algorithm combines duplication and rescheduling two fault-tolerant strategies effectively to give full play to their respective advantages in fault tolerance, and to meet the soft deadline of work as far as possible..IMWSFW is first divided into the soft deadline of the workflow, which makes every appointment. It has its own submission. Then, based on the imbalances of the task submission and the heterogeneity of the performance of the cloud computing resources, the corresponding fault tolerant strategies for each task are selected for each task from replication and rescheduling. Then, combining the features provided by the cloud computing system resources on demand, IMWSFW selects the corresponding virtual machine for each task and preorders the corresponding service. Time interval. For the task of selecting rescheduling as its fault tolerant strategy, IMWSFW provides a corresponding fault tolerance strategy by on-line rescheduling when it has a fault in the first execution process. In order to make full use of the interval between tasks, IMWSFW also extends the part by online reservation adjustment mechanism during the task execution process. The simulation experiment shows that the proposed IMWSFW algorithm can provide a better fault-tolerant scheduling strategy, and the specific gravity scheduling fault tolerant strategy has a higher task completion rate. At the same time, it has a higher resource utilization ratio than the replica replication fault-tolerant scheduling strategy. Finally, the research work of the whole paper is summarized. It pointed out the shortcomings and prospected the next research work and direction.
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP393.09;TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅信,范玉順;分布式工作流執(zhí)行服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2003年24期

2 劉向前,王曉琳,曾廣周;基于協(xié)調(diào)機(jī)制的多工作流過程合并方法[J];計(jì)算機(jī)工程;2003年02期

3 覃俊,康立山,陳毓屏,吳仁杰;遠(yuǎn)程工作流的安全機(jī)制[J];計(jì)算機(jī)應(yīng)用研究;2003年07期

4 吳世貴;淺談工作流技術(shù)[J];建材技術(shù)與應(yīng)用;2003年05期

5 李紅玲,朱錦泉;基于工作流技術(shù)圖書館自動化管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];長春理工大學(xué)學(xué)報(bào);2005年02期

6 ;你工作流了嗎?[J];軟件世界;2006年23期

7 蘇軍;薛順利;李尊朝;;工作流項(xiàng)目的代理安全機(jī)制[J];西安工程科技學(xué)院學(xué)報(bào);2006年06期

8 付偉;;工作流技術(shù)綜述[J];河北北方學(xué)院學(xué)報(bào)(自然科學(xué)版);2007年01期

9 李燕;馮玉強(qiáng);;工作流挖掘:一種新型工作流自動化建模方法[J];計(jì)算機(jī)工程;2007年04期

10 楊洪波;;工作流:三分天下[J];軟件世界;2007年10期

相關(guān)會議論文 前10條

1 常群;王海洋;;基于長短事務(wù)分離的工作流事務(wù)模型[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2002年

2 馬帥;王海洋;王文;;事務(wù)工作流及其錯(cuò)誤處理策略[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2000年

3 劉慶;劉英博;王建民;;基于工作流日志的層次化角色挖掘[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2007年

4 袁征;肖宇;;基于事例處理的工程項(xiàng)目工作流管理[A];土木建筑學(xué)術(shù)文庫(第12卷)[C];2009年

5 王飛;李郴;薛清龍;胡曉鑫;;基于工作流技術(shù)的銀行影像系統(tǒng)的研究和開發(fā)[A];煤礦自動化與信息化——第19屆全國煤礦自動化與信息化學(xué)術(shù)會議暨中國礦業(yè)大學(xué)（北京）百年校慶學(xué)術(shù)會議論文集[C];2009年

6 劉建勛;陳海燕;;工作流管理系統(tǒng)中基于組織結(jié)構(gòu)約束的授權(quán)研究[A];全國第16屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2004年

7 魏連;許榕生;;基于工作流技術(shù)的手機(jī)取證系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第13屆全國計(jì)算機(jī)、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2007年

8 壽志勤;李樂明;崇大志;;一個(gè)面向政務(wù)流程的工作流管理系統(tǒng)分析與構(gòu)建[A];中國行政管理學(xué)會2005年年會暨“政府行政能力建設(shè)與構(gòu)建和諧社會”研討會論文集[C];2005年

9 鄒盟軍;黃煒;;基于組件的工作流管理平臺的設(shè)計(jì)與實(shí)現(xiàn)[A];廣東省電機(jī)工程學(xué)會2003-2004年度優(yōu)秀論文集[C];2005年

10 張博;楊帆;;基于表單的工作流管理系統(tǒng)設(shè)計(jì)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 何進(jìn)偉;還工作流管理一個(gè)說法[N];中國計(jì)算機(jī)報(bào);2003年

2 徐昊;工作流是下一個(gè)“金礦”[N];中國計(jì)算機(jī)報(bào);2003年

3 ;《工作流管理——模型、方法和系統(tǒng)》出版[N];中華讀書報(bào);2004年

4 胡長城;工作流:國內(nèi)國際兩極分化[N];計(jì)算機(jī)世界;2007年

5 工作流資深專家 游青華;如何選擇一個(gè)適合的工作流平臺[N];中國計(jì)算機(jī)報(bào);2007年

6 劉喜喜;超越工作流管理[N];中國計(jì)算機(jī)報(bào);2006年

7 ;北京商能 實(shí)現(xiàn)電子化工作流體系[N];中國計(jì)算機(jī)報(bào);2009年

8 劉錟;Lotus Domino/Notes工作流在辦公自動化中的應(yīng)用[N];計(jì)算機(jī)世界;2005年

9 蔣明煒 戴寶純 吳英;工作流管理使企業(yè)系統(tǒng)實(shí)現(xiàn)集成[N];中國鄉(xiāng)鎮(zhèn)企業(yè)報(bào);2004年

10 沈建苗 編譯;基于Spring創(chuàng)建工作流引擎[N];計(jì)算機(jī)世界;2006年

相關(guān)博士學(xué)位論文 前5條

1 沈虹;多約束復(fù)雜工作流的調(diào)度優(yōu)化[D];東南大學(xué);2016年

2 姚光順;面向工作流任務(wù)的云計(jì)算資源多目標(biāo)與容錯(cuò)調(diào)度研究[D];東華大學(xué);2016年

3 王朝霞;數(shù)據(jù)感知工作流的建模與驗(yàn)證[D];清華大學(xué);2012年

4 盧偉倬;建設(shè)項(xiàng)目工作流精益管理研究[D];哈爾濱工業(yè)大學(xué);2008年

5 楊曉輝;基于服務(wù)組織的開放Agent社會研究[D];天津大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 侯美玲;基于工作流技術(shù)的管理信息系統(tǒng)開發(fā)研究[D];太原理工大學(xué);2006年

2 顏超;基于工作流技術(shù)的稅務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

3 吳伯然;基于工作流的電網(wǎng)公司黨務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 朱星鎮(zhèn);基于J2EE和工作流技術(shù)的質(zhì)量管理系統(tǒng)設(shè)計(jì)與開發(fā)[D];電子科技大學(xué);2013年

5 榮鈺;基于工作流的政府行政審批平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 蒙煥;面向財(cái)務(wù)共享服務(wù)中心的財(cái)務(wù)報(bào)賬系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

7 彭德安;面向SAP的備件分配和下單軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

8 李佳;面向云工作流的切片與調(diào)度方法[D];大連理工大學(xué);2015年

9 戴潔;異構(gòu)系統(tǒng)多工作流在線調(diào)度算法研究[D];大連理工大學(xué);2015年

10 陳征;通信感知的DAG工作流費(fèi)用優(yōu)化模型及算法[D];大連理工大學(xué);2015年

，

本文編號：1977365