本文關(guān)鍵詞： 云數(shù)據(jù)中心 突發(fā)性負(fù)載 自相似性負(fù)載 負(fù)載生成 負(fù)載監(jiān)控 負(fù)載優(yōu)化調(diào)度　出處：《浙江大學(xué)》2014年博士論文　論文類型：學(xué)位論文

【摘要】：負(fù)載優(yōu)化調(diào)度是指對負(fù)載進(jìn)行合理高效地調(diào)度處理以實現(xiàn)特定的優(yōu)化目標(biāo)。隨著大規(guī)模云數(shù)據(jù)中心在全球范圍內(nèi)的廣泛部署,云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度正成為關(guān)系其服務(wù)能力建設(shè)及運營成本的重要方面,也是當(dāng)前學(xué)術(shù)界的一個研究熱點。而傳統(tǒng)的負(fù)載優(yōu)化調(diào)度方法不能很好地適應(yīng)云計算應(yīng)用的新特性,也無法很好地解決云計算帶來的規(guī)模和復(fù)雜度挑戰(zhàn)。本文圍繞大規(guī)模云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度框架,云數(shù)據(jù)中心Web負(fù)載、Job負(fù)載及云數(shù)據(jù)中心之問批數(shù)據(jù)傳輸負(fù)載的優(yōu)化調(diào)度方法展開研究工作,取得以下成果：針對傳統(tǒng)負(fù)載優(yōu)化調(diào)度系統(tǒng)可擴(kuò)展性差,對云應(yīng)用負(fù)載特性及智能化調(diào)度決策支持力度有限等不足,為大規(guī)模云數(shù)據(jù)中心提出一種可擴(kuò)展、高效、智能化的負(fù)載優(yōu)化調(diào)度系統(tǒng)JTangWOS. JTangWOS由基于數(shù)據(jù)分發(fā)服務(wù)DDS (Data Distribution Service)的負(fù)載監(jiān)控平臺,基于復(fù)雜事件處理CEP (Complex Event Processing)的調(diào)度決策支持平臺,以及具體的負(fù)載優(yōu)化調(diào)度系統(tǒng)組成。它能夠很好地適應(yīng)云數(shù)據(jù)中心的規(guī)模挑戰(zhàn),支持海量的監(jiān)控數(shù)據(jù)收集和傳輸,支持各種復(fù)雜負(fù)載管理與調(diào)度決策的制定,并具有良好的可擴(kuò)展性。實驗還驗證了該系統(tǒng)在負(fù)載優(yōu)化調(diào)度方面的高效性(并發(fā)性和吞吐量分別提升4.8倍和20倍)及智能性。針對云計算應(yīng)用基準(zhǔn)程序Cloudstone,提出一種基于兩階段馬爾科夫調(diào)制泊松過程MMPP2 (2-state Markov Modulated Possion Process)疊加模型的突發(fā)性和自相似性Web負(fù)載聯(lián)合生成方法BURSE.該方法可以解決當(dāng)前突發(fā)性和自相似性負(fù)載分別生成方法不能很好滿足真實云Web應(yīng)用負(fù)載情況的不足。與傳統(tǒng)方法相比,該方法生成的負(fù)載更符合實際情況,并且所用方法更直觀。接著,論文為大規(guī)模云數(shù)據(jù)中心系統(tǒng)提出了一種可感知突發(fā)性和自相似性的自適應(yīng)負(fù)載均衡方法。實驗表明所提負(fù)載生成方法具有很高的精度(各種突發(fā)性和自相似性強(qiáng)度組合平均誤差都小于10%)及魯棒性(精度不隨負(fù)載樣本數(shù)的增加而降低)。與傳統(tǒng)貪婪和完全隨機(jī)負(fù)載均衡算法相比,所提可感知突發(fā)性和自相似性的大規(guī)模云數(shù)據(jù)中心自適應(yīng)負(fù)載均衡方法具有更好的性能和效率。針對大規(guī)模云數(shù)據(jù)中心地理位置分布的差異性,提出一種基于交替方向多乘子方法ADMM (Alternating Direction Method of Multipliers)的分布式算法,用來解決帶有異構(gòu)資源需求的Job在多個帶有異構(gòu)服務(wù)器的數(shù)據(jù)中心之間的優(yōu)化調(diào)度問題。通過考慮不同數(shù)據(jù)中心所在地區(qū)之間的電價差異及用戶請求到不同數(shù)據(jù)中心的網(wǎng)絡(luò)延遲,為異構(gòu)云數(shù)據(jù)中心多Job負(fù)載實現(xiàn)了一種成本最低的聯(lián)合優(yōu)化調(diào)度方法。實驗表明,該方法在經(jīng)過較少的幾十次迭代(最多60次,80%的時間只需33次)后會收斂于一個實際中可接受的近似最優(yōu)解。對比其他沒有考慮數(shù)據(jù)中心和服務(wù)器聯(lián)合調(diào)度的方法,所提方法能夠完全保證用戶服務(wù)質(zhì)量QoS(Quality of Service)不被違反。對比其他只優(yōu)化能耗成本或網(wǎng)絡(luò)延遲效用損失的聯(lián)合調(diào)度方法,所提方法能在效用損失和能耗成本之間實現(xiàn)一個更好的均衡,具有最低的總成本。針對云數(shù)據(jù)中心之間的批數(shù)據(jù)傳輸(Inter-DC Bulk Data Transfer)負(fù)載,通過利用批數(shù)據(jù)傳輸較高的延遲容忍性及不同地區(qū)數(shù)據(jù)中心電價的差異性,提出了一種能耗成本最低的兩階段優(yōu)化調(diào)度方法。論文系統(tǒng)地研究了在大規(guī)模云數(shù)據(jù)中心網(wǎng)絡(luò)中如何路由及調(diào)度批數(shù)據(jù)傳輸任務(wù)使得總能耗成本最小的問題,并用最小成本多并發(fā)流對該問題進(jìn)行了建模。同時,還充分利用云數(shù)據(jù)中心之間批數(shù)據(jù)傳輸在時間和空間上的靈活性,提出一種高效的兩階段優(yōu)化調(diào)度方法來求解該模型�；谡鎸嵲茢�(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浼罢鎸崥v史電價數(shù)據(jù),實驗表明所提方法在降低數(shù)據(jù)中心能耗成本方面優(yōu)于當(dāng)前已有各種批數(shù)據(jù)傳輸優(yōu)化調(diào)度方法及策略,其能耗成本降低率在閑時(凌晨)和忙時(傍晚)分別達(dá)到了31%和48%。另外,實驗還表明所提方法具有較低的時間復(fù)雜度(與給定的可傳輸時間近似成線性關(guān)系),能夠在性能和時間復(fù)雜度上實現(xiàn)一個好的均衡。
[Abstract]:Load scheduling refers to the load reasonably and efficiently processing to achieve specific optimization objectives. With the large scale cloud data centers are widely deployed in the global scope, cloud data center load scheduling is becoming the important aspect of the service ability construction and operation cost, it is also a research focus in the academic circles. But the traditional load optimal dispatch method can't adapt to the new features of cloud computing applications, is not a good solution for cloud computing brings the scale and complexity of the challenges. This paper focuses on large scale cloud data center load optimization scheduling framework, cloud data center Web load, Job load and cloud data center asked the optimization scheduling method batch data transmission load to launch the research work, has achieved the following results: Based on the traditional load optimal dispatching system of poor scalability of cloud application load characteristic and intelligent adjustment The limited degree of decision support, for the large-scale cloud data center provides a scalable, efficient, intelligent load optimal dispatching system of JTangWOS. JTangWOS by DDS based on data distribution service (Data Distribution Service) load monitoring platform, complex event processing based on CEP (Complex Event Processing) scheduling decision support platform, and the concrete load scheduling system. It can well adapt to the cloud data center scale challenges, support the massive monitoring data collection and transmission, support a variety of complex load management and decision making, and has good scalability. The experiment also validated the system load in optimal scheduling efficiency (the concurrency and throughput respectively increased 4.8 times and 20 times) and intelligence. According to the application of cloud computing benchmark program Cloudstone, based on the two phase of Marco Schiff (2-state MMPP2 modulated Poisson process Markov Modulated Possion Process) model burstiness and self similarity of Web combined with BURSE. load generation method this method can solve the burstiness and self similarity load respectively generation method can not satisfy the real application problems cloud Web load conditions. Compared with the traditional method, the method of load the more in line with the actual situation, and the method is more intuitive. Then, this paper puts forward a perceived bursty and self similar adaptive load balancing method of large-scale cloud data center system. Experiments show that the proposed load generation method with high accuracy (sudden and self similarity of intensity the average error is less than 10%) and robustness (accuracy and reduce with increase of load sample number). Compared with the traditional greedy and completely random load balancing algorithm, the proposed. Know the bursty and self similar large-scale cloud data center adaptive load balancing algorithm has better performance and efficiency. According to the difference of large-scale cloud data center location distribution, we proposed an alternating direction multiplier method based on ADMM (Alternating Direction Method of Multipliers) distributed algorithm is used to solve scheduling problem with heterogeneous the Job resource requirements among multiple heterogeneous servers with the data center. The price difference between considering different data center area and user requests to different data center network latency for heterogeneous cloud data center to achieve a joint optimization scheduling method of the lowest cost load Job. Experimental results show that this method in after several iterations less (up to 60 times, 80% time only 33) will converge to a practical approximation acceptable Optimal solution. Compared with other methods without considering the joint operation of the data center and server, the proposed method can fully guarantee the quality of service QoS (Quality of Service) is not violated. Compared to the other only optimize energy utility loss cost or network delay scheduling method, the proposed method can achieve a better balance between the utility the loss of energy consumption and cost, with the lowest total cost. According to the number of data transmission between the cloud data center (Inter-DC Bulk Data Transfer) load, through delay difference tolerance data center and different areas of electricity using batch data transmission is high, a two stage energy consumption of the lowest cost optimal scheduling method for the system. Study on how to route and schedule batch data transmission task makes the problem of minimum cost in the total energy consumption of large-scale cloud data center network, and with minimum cost Multi flow on the modeling of the problem. At the same time, but also make full use of the flexibility in time and space on the number of data transmission between the cloud data center, this paper presents a new two stage optimization scheduling method to solve the model. The real cloud data center network topology and the true history of price data based on the experiment shows that the proposed method to reduce data center energy cost than the current batch of various data transmission scheduling method and strategy, its cost is to reduce the rate at leisure (Ling Chen) and busy (evening) respectively reached 31% and 48%. in addition, the experiment also shows that the proposed method has low time complexity (and can be given the transmission time is approximately linear), can achieve a good balance between performance and complexity.

【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2014
【分類號】：TP308;TP393.01

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高美鳳,須文波;造紙廠負(fù)荷優(yōu)化調(diào)度系統(tǒng)[J];自動化儀表;2000年09期

2 鐘嘉慶;;電力市場環(huán)境下有功優(yōu)化調(diào)度方法綜述[J];微型機(jī)與應(yīng)用;2009年24期

3 黃永平;董仕寶;覃正強(qiáng);;多機(jī)種保障加油作業(yè)優(yōu)化調(diào)度系統(tǒng)研究[J];微計算機(jī)信息;2010年15期

4 陳華平,黃劉生,毛睿,陳國良;淮河群庫優(yōu)化調(diào)度系統(tǒng)的設(shè)計與實現(xiàn)[J];高技術(shù)通訊;1999年07期

5 石旭東;劉勝飛;陳慕華;王立文;;飛機(jī)集中除冰車輛優(yōu)化調(diào)度方法研究[J];計算機(jī)工程與應(yīng)用;2009年04期

6 張良兵,周建中;水電站優(yōu)化調(diào)度仿真系統(tǒng)中實時數(shù)據(jù)庫研究[J];計算機(jī)仿真;2004年08期

7 王秀利,吳惕華;成組作業(yè)生產(chǎn)優(yōu)化調(diào)度的研究[J];化工自動化及儀表;2002年06期

8 王秀利,吳惕華,劉磊;一種求解單機(jī)成組作業(yè)優(yōu)化調(diào)度的啟發(fā)算法[J];計算機(jī)仿真;2003年02期

9 謝奕;夏成軍;章文;黃瑩;鄒挺;;韶關(guān)水電站群優(yōu)化調(diào)度系統(tǒng)軟件的調(diào)試與優(yōu)化[J];廣東電力;2008年10期

10 趙然杭,王興菊,孫繼正;水庫多目標(biāo)優(yōu)化調(diào)度[J];小型微型計算機(jī)系統(tǒng);2002年05期

相關(guān)會議論文 前10條

1 趙和木;鄒南城;;九龍江北溪梯級電站防汛與發(fā)電優(yōu)化調(diào)度探討[A];福建省科學(xué)技術(shù)協(xié)會第七屆學(xué)術(shù)年會分會場——提高水力發(fā)電技術(shù) 促進(jìn)海西經(jīng)濟(jì)建設(shè)研討會論文集[C];2007年

2 鄒南城;趙和木;;九龍江北溪梯級電站防汛與發(fā)電優(yōu)化調(diào)度探討[A];福建省科學(xué)技術(shù)協(xié)會第八屆學(xué)術(shù)年會分會場——提高水電站水庫調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會論文集[C];2008年

3 葉琳浩;夏成軍;陳麗丹;張堯;;小水電優(yōu)化調(diào)度的模型和算法研究[A];中國高等學(xué)校電力系統(tǒng)及其自動化專業(yè)第二十四屆學(xué)術(shù)年會論文集（下冊）[C];2008年

4 彭清娥;黃爾;劉興年;;庫區(qū)泥沙淤積對梯級水電站群優(yōu)化調(diào)度影響研究[A];水文泥沙研究新進(jìn)展——中國水力發(fā)電工程學(xué)會水文泥沙專業(yè)委員會第八屆學(xué)術(shù)討論會論文集[C];2010年

5 鮑正風(fēng);胡曉勇;;三峽水庫汛前消落期優(yōu)化調(diào)度方式研究[A];中國水力發(fā)電工程學(xué)會信息化專委會2009年學(xué)術(shù)交流會論文集[C];2009年

6 許江松;玄英姬;張子平;;對清江流域隔河巖、高壩洲梯級水電站優(yōu)化調(diào)度的思考[A];2008中國水力發(fā)電論文集[C];2008年

7 陳莊;崔貫勛;劉永梅;何昭全;;卷煙生產(chǎn)線優(yōu)化調(diào)度仿真系統(tǒng)研究[A];提高全民科學(xué)素質(zhì)、建設(shè)創(chuàng)新型國家——2006中國科協(xié)年會論文集（下冊）[C];2006年

8 殷傳斌;趙新華;惠楊楊;;SCADA系統(tǒng)在供水優(yōu)化調(diào)度中的應(yīng)用[A];第七屆青年學(xué)術(shù)會議論文集[C];2005年

9 楊侃;鄭姣;陳靜;;復(fù)雜巨型混聯(lián)水電調(diào)度系統(tǒng)負(fù)荷分配方法研究[A];中國水文科技新發(fā)展——2012中國水文學(xué)術(shù)討論會論文集[C];2012年

10 張宏杰;陳洲;張凡;王貴;常婧華;;淺談反調(diào)節(jié)電站的“一鍵式”優(yōu)化調(diào)度[A];全國大中型水電廠技術(shù)協(xié)作網(wǎng)第五屆年會論文集[C];2008年

相關(guān)重要報紙文章 前7條

1 辛文;《跨區(qū)跨省電力優(yōu)化調(diào)度暫行規(guī)則》出臺[N];中國電力報;2003年

2 記者 鄧明　白培生 通訊員 李秉鈞;郴州優(yōu)化調(diào)度大戰(zhàn)旱魔[N];湖南日報;2011年

3 本報記者 陸文輝;加強(qiáng)優(yōu)化調(diào)度 促進(jìn)跨區(qū)送電[N];中國電力報;2003年

4 記者 潘峰;電監(jiān)會優(yōu)化電力調(diào)度規(guī)則[N];證券日報;2003年

5 記者 常志鵬;為什么要推行跨區(qū)電力優(yōu)化調(diào)度[N];新華每日電訊;2003年

6 本報記者 童彤;緩解“江湖”新沖突 關(guān)鍵是優(yōu)化調(diào)度[N];中國經(jīng)濟(jì)時報;2011年

7 謝德華;物流：第三利潤源泉[N];中華讀書報;2001年

相關(guān)博士學(xué)位論文 前10條

1 梁振成;中長期發(fā)電優(yōu)化調(diào)度的近似動態(tài)規(guī)劃模型與算法[D];廣西大學(xué);2015年

2 盧興見;大規(guī)模云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度方法研究[D];浙江大學(xué);2014年

3 劉雙全;梯級水電系統(tǒng)發(fā)電優(yōu)化調(diào)度研究及應(yīng)用[D];華中科技大學(xué);2009年

4 羅云霞;小水電群智能優(yōu)化調(diào)度方法及系統(tǒng)開發(fā)[D];浙江工業(yè)大學(xué);2009年

5 謝維;水電站（群）優(yōu)化調(diào)度與運行規(guī)則研究[D];華北電力大學(xué);2012年

6 曹廣晶;三峽水庫綜合優(yōu)化調(diào)度研究[D];天津大學(xué);2004年

7 胡明罡;多沙河流水庫電站優(yōu)化調(diào)度研究[D];天津大學(xué);2004年

8 張高峰;梯級水電系統(tǒng)短期優(yōu)化調(diào)度與自動發(fā)電控制研究[D];華中科技大學(xué);2004年

9 曾勇紅;仿射尺度算法及其在水電系統(tǒng)優(yōu)化調(diào)度中的應(yīng)用研究[D];華中科技大學(xué);2004年

10 喻杉;基于改進(jìn)蟻群算法的梯級水庫群優(yōu)化調(diào)度研究[D];華北電力大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 王京波;考慮風(fēng)電不確定性成本的含風(fēng)電場群電力系統(tǒng)優(yōu)化調(diào)度[D];燕山大學(xué);2015年

2 王朋;梯級小水電優(yōu)化運行技術(shù)研究[D];鄭州大學(xué);2015年

3 胡秀英;廣西西江流域干流水庫防洪優(yōu)化調(diào)度研究[D];廣西大學(xué);2015年

4 鄧顯羽;余姚市水庫（群）優(yōu)化調(diào)度方法研究及應(yīng)用[D];大連理工大學(xué);2010年

5 王海偉;水電站短期優(yōu)化調(diào)度及優(yōu)化調(diào)度系統(tǒng)軟件研究[D];華中科技大學(xué);2005年

6 梁漢華;中小型電站水庫日常發(fā)電調(diào)度的優(yōu)化研究[D];浙江大學(xué);2005年

7 徐曉燕;水電廠優(yōu)化調(diào)度決策支持系統(tǒng)研究[D];重慶大學(xué);2005年

8 李言龍;鏡泊湖水庫的優(yōu)化調(diào)度與管理[D];華北電力大學(xué)（北京）;2007年

9 李震;多水源優(yōu)化調(diào)度的管理與決策[D];天津大學(xué);2009年

10 竹磊磊;綜合利用水庫實時興利優(yōu)化調(diào)度研究[D];鄭州大學(xué);2006年

，

本文編號：1545588