發(fā)布時間：2018-06-19 12:41

  本文選題：云計算 + 任務調度　； 參考：《中國科學技術大學》2017年博士論文

【摘要】：隨著業(yè)務的發(fā)展,越來越多的企業(yè)或組織開始采用基于多數(shù)據(jù)中心的云環(huán)境甚至多云環(huán)境為用戶提供服務。多數(shù)據(jù)中心或多云可以為不同地理位置的用戶提供時延更短、帶寬更高、成本更低的服務,同時多數(shù)據(jù)中心間可構建互為容災備份機制,從而提供高可靠的服務。多數(shù)據(jù)中心在提供更好的服務性能的同時,也增加了云應用管理的復雜性和挑戰(zhàn)性。一方面,多數(shù)據(jù)中心環(huán)境將出現(xiàn)大規(guī)模的用戶到數(shù)據(jù)中心(U2D)和數(shù)據(jù)中心到數(shù)據(jù)中心(D2D)的任務,這些任務通常包含大量待處理數(shù)據(jù),有較高的計算、存儲、網(wǎng)絡等多維資源的需求。另一方面,多數(shù)據(jù)中心或多云環(huán)境存在大量不同類型、不同粒度的異構資源,這些資源的配置、性能、費用模型都不盡相同。隨著基礎設施地資源規(guī)模和異構性地增加,越來越多的企業(yè)將基礎設施的管理和應用開發(fā)分離,使得應用開發(fā)人員可以敏捷開發(fā),從而快速地應對用戶需求和市場變化。這必將導致任務調度和資源分配分離,會帶來一定程度的資源浪費和應用性能下降�，F(xiàn)有的調度策略也未能充分考慮多數(shù)據(jù)中心環(huán)境的資源異構性以及云任務的特性,難以做到針對性的優(yōu)化。因此,研究多數(shù)據(jù)中心云環(huán)境下的任務調度和資源分配的協(xié)同優(yōu)化具有重要的理論和現(xiàn)實意義。針對多數(shù)據(jù)中心環(huán)境下云任務調度的問題,本文從U2D和D2D云任務的特征出發(fā),圍繞其在多數(shù)據(jù)中心環(huán)境下的調度機制和資源分配方式展開研究。本文的主要工作包括以下三個方面:·首先,本文研究了多數(shù)據(jù)中心環(huán)境下的U2D任務調度問題。為了更好地應對資源異構性,這里選取了較為復雜的混合云環(huán)境進行研究。首先針對不同區(qū)域的用戶請求和多數(shù)據(jù)中心環(huán)境進行建模,設計了基于混合云的U2D任務服務模型和效益最大化優(yōu)化模型。然后,分別針對靜態(tài)和動態(tài)場景做具體分析,并設計相應的分布式調度算法實現(xiàn)各區(qū)域的任務調度、私有云和公有云數(shù)據(jù)中心上的任務調度和資源分配。該算法分層分布式地實現(xiàn)了混合云中的任務調度和異構資源分配,可以應對大規(guī)模的U2D任務請求。仿真結果表明,該算法能夠保證任務時延需求,相對于基于提前預知的T-slot算法可以實現(xiàn)較高的服務效益,并顯著降低算法運行時間�！て浯�,本文研究了多數(shù)據(jù)中心環(huán)境下的D2D任務調度問題。數(shù)據(jù)中心間網(wǎng)絡(Inter-DC)存在大量的數(shù)據(jù)同步或備份任務,這些任務通常具有任播特性,并且可以通過存儲-轉發(fā)機制實現(xiàn)數(shù)據(jù)傳輸。本研究首先結合上述這兩個特性,提出GlobalAMny傳輸機制,動態(tài)地全局選擇任播目的數(shù)據(jù)中心。然后,本文設計了效益最大化模型,并利用BackPressure算法提出了逐跳的GlobalAny傳輸算法。為了降低傳輸時延,本文還綜合逐跳傳輸和直接傳輸?shù)奶攸c,設計了數(shù)據(jù)傳輸?shù)募铀偎惴℅lobalAny_Ext。仿真結果表明,GlobalAny算法提高了平均服務效益,降低了算法運行時間,而傳輸加速方案GlobalAny_Ext則顯著降低了任務的時延�！ぷ詈�,本文研究了多層Inter-DC光網(wǎng)絡(ML-IDCON)中的DoT任務調度問題。區(qū)別于普通IP網(wǎng)絡,光網(wǎng)絡擁有較大帶寬,但需要提前建立光路,并且資源分配粒度較大,因此ML-IDCON成為大型云服務商的選擇。針對ML-IDCON中的DoT調度問題,本研究首先嘗試利用IP層剩余的帶寬資源實現(xiàn)數(shù)據(jù)傳輸,即通過時間擴展網(wǎng)絡(TEN)方法將多數(shù)據(jù)中心環(huán)境中動態(tài)的網(wǎng)絡、計算、存儲資源分配問題轉化為靜態(tài)的網(wǎng)絡流問題,并采用最小費用最大流算法來降低任務調度成本。若IP層資源不足,本研究將利用寬度優(yōu)先搜索方法,迭代地在傳輸路徑上找到成本最低的光路建立方案,并實現(xiàn)DoT調度和處理。仿真結果表明,對于DoT調度,靈活柵格ML-IDCON在阻塞概率,收發(fā)器的能量消耗和DC存儲使用均優(yōu)于固定柵格ML-IDCON。該算法在略微增加能耗的基礎上,顯著地降低了請求阻塞率、數(shù)據(jù)存儲需求以及算法運行時間。
[Abstract]:With the development of business, more and more enterprises or organizations have begun to provide services to users based on multi data center cloud environment or even multi cloud environment. Multi data center or multi cloud can provide shorter time delay, higher bandwidth and lower cost service for different geographic users, and multiple data centers can be built and compatible with each other. Multiple data centers, while providing better service performance, also increase the complexity and challenge of cloud application management. On the one hand, the multi data center environment will have large-scale users to data center (U2D) and data center to data center (D2D). These tasks usually contain large numbers of tasks. On the other hand, there are a large number of different types, different granularity and heterogeneous resources, and the allocation, performance and cost model of these resources are not the same. With the increase of infrastructure resources and heterogeneity, more and more The enterprise separations the management of infrastructure and application and development so that the application developers can be developed quickly, which can quickly respond to user needs and market changes. This will lead to the separation of task scheduling and resource allocation, which will bring a certain degree of waste of resources and lower application performance. The existing scheduling strategy also fails to consider the majority of the majority. According to the resource heterogeneity of the central environment and the characteristics of the cloud task, it is difficult to optimize the target. Therefore, it is of great theoretical and practical significance to study the cooperative optimization of task scheduling and resource allocation under the cloud environment of multi data center. In view of the problem of cloud task scheduling in the multi data center environment, this paper from the U2D and D2D cloud tasks The main work of this paper includes the following three aspects: first, this paper studies the U2D task scheduling problem in the multi data center environment. In order to better cope with the heterogeneity of resources, a more complex mixed cloud environment is selected. Firstly, the U2D task service model and the benefit maximization optimization model based on mixed cloud are designed to model the user requests and multi data center environment in different regions. Then, the static and dynamic scenarios are analyzed, and the corresponding distributed scheduling algorithms are designed to implement the task scheduling in each region. Task scheduling and resource allocation on the cloud and public cloud data center. This algorithm realizes the task scheduling and heterogeneous resource allocation in the mixed cloud, and can deal with large-scale U2D task requests. The simulation results show that the algorithm can guarantee the task delay requirement, and the phase based T-slot algorithm based on pre prediction can be implemented. Higher service benefits and significantly lower algorithm running time. Secondly, this paper studies the D2D task scheduling problem under the multi data center environment. The data center network (Inter-DC) has a large number of data synchronization or backup tasks. These tasks usually have the character of the broadcast, and the data transmission can be realized through the storage and forwarding mechanism. First, the GlobalAMny transmission mechanism is proposed to dynamically select the data center of the destination. Then, the benefit maximization model is designed, and the hop by hop GlobalAny transmission algorithm is proposed by using the BackPressure algorithm. In order to reduce the transmission time delay, this paper also combines the hop by hop transmission and direct transmission. GlobalAny_Ext. simulation results of the acceleration algorithm of data transmission have been designed to show that the GlobalAny algorithm improves the average service efficiency and reduces the running time of the algorithm, while the transmission acceleration scheme GlobalAny_Ext reduces the task delay significantly. Finally, this paper studies the scheduling problem of DoT task in the multi-layer Inter-DC optical network (ML-IDCON). Unlike ordinary IP networks, optical networks have large bandwidth, but need to establish optical paths ahead of time, and the granularity of resource allocation is large. So ML-IDCON becomes the choice of large cloud service providers. In view of the DoT scheduling problem in ML-IDCON, this study first attempts to use the remaining bandwidth resources of IP layer to realize data transmission, that is, through the time extended network (TEN). Methods the dynamic network, computing, storage resource allocation problem in the multi data center environment is transformed into a static network flow problem, and the minimum cost maximum flow algorithm is used to reduce the cost of task scheduling. If the IP layer is insufficient, this research will use the width first search method to find the lowest cost path on the transmission path. Establish and implement the DoT plan, scheduling and processing. The simulation results show that for DoT scheduling, flexible grid ML-IDCON in blocking probability, energy consumption and DC storage were better than the fixed grid transceiver using the algorithm ML-IDCON. based on the increase in energy consumption slightly, significantly reduce the request blocking rate, data storage requirements and running time of the algorithm.
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP3

【相似文獻】

相關期刊論文 前10條

1 張松慧;熊錦江;;一種針對非平穩(wěn)網(wǎng)絡任務調度防沖突算法研究[J];科技通報;2013年10期

2 孟憲福;基于優(yōu)先級的任務調度與負載均衡模型研究[J];小型微型計算機系統(tǒng);2005年09期

3 廖曉文;廖京盛;;時間觸發(fā)模式的任務調度與分解策略[J];單片機與嵌入式系統(tǒng)應用;2006年07期

4 樊曉香;;任務調度問題機制設計[J];計算機技術與發(fā)展;2008年07期

5 黃漾;;分布式環(huán)境下任務調度探討[J];電腦知識與技術;2011年19期

6 陳軍;謝立;孫鐘秀;;分布式任務調度研究的新趨向[J];計算機研究與發(fā)展;1990年04期

7 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡任務調度算法仿真[J];計算機仿真;2013年11期

8 李陶深;李明麗;張希翔;;云計算環(huán)境下任務調度技術的研究進展[J];玉林師范學院學報;2014年02期

9 劉雄文,陸鑫達;元計算環(huán)境中任務調度的深入分析[J];計算機工程與應用;2002年17期

10 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計算中任務調度研究綜述[J];計算機應用研究;2005年05期

相關會議論文 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機制的任務調度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時資源混雜占用型任務調度的數(shù)學模型與算法[A];2005年全國理論計算機科學學術年會論文集[C];2005年

3 王軍;巢玉強;彭釗軼;;基于任務調度的電能量計量采集系統(tǒng)的設計與實現(xiàn)[A];2006電力系統(tǒng)自動化學術交流研討大會論文集[C];2006年

4 張志強;王萬玉;王建平;李凡;袁剛;;多站多星任務調度優(yōu)化模型研究[A];第二十三屆全國空間探測學術交流會論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負載均衡的任務調度改進算法[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務調度的研究[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務調度在多控制任務系統(tǒng)中的應用[A];第16屆中國過程控制學術年會暨第4屆全國故障診斷與安全性學術會議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災星座運控任務調度系統(tǒng)[A];第二十五屆全國空間探測學術研討會摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠;;基于雙總線安全結構的操作系統(tǒng)任務調度[A];2009全國計算機網(wǎng)絡與通信學術會議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務調度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

相關重要報紙文章 前2條

1 王波;Linux與服務器集群技術[N];中國計算機報;2002年

2 龔漢坤;資源分配尊重歷史 引水調水依法依規(guī)[N];云南政協(xié)報;2014年

相關博士學位論文 前10條

1 陸平;云計算應用中的任務調度與資源分配的協(xié)同優(yōu)化[D];中國科學技術大學;2017年

2 趙凡宇;航天器多目標觀測任務調度與規(guī)劃方法研究[D];北京理工大學;2015年

3 孫明明;云計算平臺上任務調度算法的研究[D];中國科學技術大學;2015年

4 張旭;面向網(wǎng)絡服務的傳輸協(xié)議設計與任務調度優(yōu)化[D];中國科學技術大學;2017年

5 汪昌健;面向MapReduce計算模型的調度技術研究[D];國防科學技術大學;2015年

6 郭力爭;云計算環(huán)境下資源部署與任務調度研究[D];東華大學;2015年

7 黃萬偉;基于服務屬性區(qū)分的可重構任務調度研究[D];解放軍信息工程大學;2009年

8 瞿進;可重構系統(tǒng)軟硬功能劃分及任務調度技術研究[D];解放軍信息工程大學;2011年

9 周雙娥;實時分布容錯系統(tǒng)的任務調度技術研究[D];哈爾濱工程大學;2003年

10 柴亞輝;基于FPGA的高性能計算架構硬件任務與資源模型研究[D];上海大學;2012年

相關碩士學位論文 前10條

1 張巧龍;云計算環(huán)境下任務調度問題的研究[D];江南大學;2015年

2 徐彬;云環(huán)境下基于動態(tài)融合遺傳蟻群算法的DAG任務調度研究[D];南京信息工程大學;2015年

3 鐘瀟柔;基于動態(tài)遺傳算法的云計算任務節(jié)能調度策略研究[D];哈爾濱工業(yè)大學;2015年

4 李婷;分布式爬蟲任務調度與AJAX頁面抓取研究[D];電子科技大學;2015年

5 趙彬;基于任務調度和動態(tài)資源調整的云計算節(jié)能機制及能效分析[D];廣西大學;2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺動態(tài)任務調度[D];電子科技大學;2014年

7 王一冰;基于ASP.NET的任務調度管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

8 白晶晶;云環(huán)境下安全和可靠性驅動的工作流任務調度研究[D];新疆大學;2015年

9 呂信科;基于多核陣列的任務調度技術研究[D];電子科技大學;2015年

10 溫宇昂;單階段差異化多機可拆分任務調度優(yōu)化方法[D];東北大學;2013年

，

本文編號：2039923