混合云環(huán)境下資源調(diào)度與管理若干問題研究
本文選題:云計(jì)算 + 異構(gòu)任務(wù); 參考:《北京郵電大學(xué)》2017年博士論文
【摘要】:隨著云計(jì)算技術(shù)的不斷發(fā)展,越來越多的國(guó)內(nèi)外公司推出各種云產(chǎn)品和云解決方案,越來越多的企業(yè)使用云計(jì)算技術(shù)部署系統(tǒng),企業(yè)的云環(huán)境日益復(fù)雜。根據(jù)云資源提供者和使用者的關(guān)系可以分為私有云、公有云、混合云,用戶可以選擇使用多個(gè)云解決方案和公有云服務(wù)。部署在云上的應(yīng)用內(nèi)部任務(wù)的相互關(guān)系,可能相互獨(dú)立,也可能是相互依賴,任務(wù)之間有數(shù)據(jù)傳輸?shù)南嗷ヒ蕾囮P(guān)系的應(yīng)用,也稱為科學(xué)工作流。本文關(guān)注的混合云環(huán)境包括三個(gè)方面:運(yùn)行在云平臺(tái)上的異構(gòu)QoS( Quality of Service,服務(wù)質(zhì)量)和 SLA ( Service Level Agreement,服務(wù)等級(jí)協(xié)議)需求的任務(wù)或應(yīng)用的混合;單個(gè)云內(nèi)部資源性能異構(gòu)、動(dòng)態(tài)變化、節(jié)點(diǎn)失效等不確定性因素的混合;私有云和公有云等不同云平臺(tái)的混合。分別針對(duì)相互獨(dú)立的任務(wù)在單個(gè)私有云數(shù)據(jù)中心、單個(gè)科學(xué)工作流在單個(gè)或多個(gè)私有云平臺(tái)、多個(gè)科學(xué)工作流在混合云平臺(tái)、企業(yè)系統(tǒng)在多個(gè)混合云平臺(tái)四種情況下,研究調(diào)度與管理問題。1)提出了基于混合預(yù)測(cè)的異構(gòu)任務(wù)調(diào)度和管理方法MPHW(Multi-Prediction based scheduling for Heterogeneous Workloads) ,解決異構(gòu)QoS和SLA需求混合的獨(dú)立任務(wù)在單個(gè)私有云數(shù)據(jù)中心的調(diào)度與管理問題,保障高優(yōu)先級(jí)任務(wù)的性能,同時(shí)提高了有效資源利用率。建立了異構(gòu)任務(wù)的優(yōu)先級(jí)模型,設(shè)計(jì)了離線訓(xùn)練的ARMA(Auto-Regressive and Moving Average, 自回 歸移動(dòng)平均) 模型和在線反饋的AR (Auto-Regressive,自回歸)模型混合的負(fù)載預(yù)測(cè)算法,并提出了基于預(yù)測(cè)的動(dòng)態(tài)資源預(yù)留和任務(wù)搶占的調(diào)度策略。仿真實(shí)驗(yàn)結(jié)果表明,相對(duì)于基于即時(shí)可用資源量的搶占式調(diào)度算法,使用基于混合預(yù)測(cè)和動(dòng)態(tài)資源預(yù)留的異構(gòu)任務(wù)調(diào)度算法,能夠減少70%主機(jī)過負(fù)載和任務(wù)失敗,減少超過50%的由失敗任務(wù)造成的資源浪費(fèi),提高有效資源利用率超過65%。此外,對(duì)于低QoS、SLA任務(wù)來說,時(shí)間延遲也是可以接受的。2)提出了一種科學(xué)工作流在不可靠私有云上的動(dòng)態(tài)調(diào)度算法DEFT (Dynamic Earliest-Finish-Time),減小了工作流完工時(shí)間,提高了調(diào)度的健壯性。DEFT根據(jù)運(yùn)行期資源的計(jì)算和傳輸速度,進(jìn)行實(shí)時(shí)單次調(diào)度,應(yīng)對(duì)資源性能異構(gòu)、動(dòng)態(tài)變化、存在失效等不確定性因素。定義了新的調(diào)度健壯性衡量指標(biāo)CV (Coefficient of Variations,變異系數(shù)),更準(zhǔn)確衡量調(diào)度算法產(chǎn)生短的、平穩(wěn)分布的完工時(shí)間的能力。實(shí)驗(yàn)表明,使用DEFT比現(xiàn)有的最優(yōu)的基于任務(wù)列表的靜態(tài)調(diào)度算法PEFT和動(dòng)態(tài)調(diào)度算法DCP- G,工作流完工時(shí)間縮短超過20%,且健壯性更好。3)提出了一種數(shù)據(jù)密集型科學(xué)工作流在混合云上的動(dòng)態(tài)調(diào)度算法HCOD (Hybrid Cloud Optimized Data),減小了云平臺(tái)之間數(shù)據(jù)傳輸量,同時(shí),降低了費(fèi)用開銷。設(shè)計(jì)了快速的雙層禁忌搜索圖劃分算法DLTS(Double-Level Tabu Search),劃分大型數(shù)據(jù)密集型科學(xué)工作流。將子工作流作為調(diào)度的最小單位,減小了調(diào)度在不同云平臺(tái)的任務(wù)之間的數(shù)據(jù)傳輸量。仿真實(shí)驗(yàn)表明,本算法在降低費(fèi)用開銷、減小數(shù)據(jù)傳輸量等方面都有很好的表現(xiàn)。4)提出了一種規(guī)范化的系統(tǒng)混合云遷移的策略制定方法,引導(dǎo)企業(yè)逐步理順目標(biāo)約束、分析決策、制定云遷移方案。提出了循環(huán)演進(jìn)的企業(yè)系統(tǒng)混合云遷移策略制定步驟,確保了遷移策略的可實(shí)現(xiàn)性。提出了層次化分析方法,為互斥的、不可量化的目標(biāo)、約束、云服務(wù)提供了統(tǒng)一的分析比較方法。使用網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)支撐系統(tǒng)作為用例,分析其云化需求和約束,制定云遷移方案,確定系統(tǒng)各個(gè)應(yīng)用和功能模塊應(yīng)該使用何種云部署和遷移方式。本方法作為指導(dǎo)思想,應(yīng)用在國(guó)內(nèi)某電信運(yùn)營(yíng)商運(yùn)營(yíng)支撐系統(tǒng)云化項(xiàng)目的需求分析和設(shè)計(jì)階段。
[Abstract]:With the development of cloud computing technology , more and more companies are launching various cloud products and cloud solutions . More and more enterprises use cloud computing technology to deploy systems , and the cloud environment of enterprises is increasingly complex . The hybrid cloud environment includes three aspects : heterogeneous QoS ( Quality of Service ) and SLA ( Service Level Agreement ) requirements . The hybrid cloud environment includes three aspects : heterogeneous QoS ( Quality of Service ) and SLA ( Service Level Agreement ) . This paper presents a new dynamic scheduling algorithm called DEFT ( Dynamic Earliest - Finish - Time ) , which can reduce the amount of data transfer between different cloud platforms by using DEFT ( Dynamic Earnest - Finish - Time ) . A unified analysis and comparison method is provided for mutually exclusive , non - quantifiable targets , constraints and cloud services . Using the network service operation support system as an example , the cloud needs and constraints are analyzed , the cloud migration scheme is developed , and the cloud deployment and migration method should be used for each application and function module of the system .
【學(xué)位授予單位】:北京郵電大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2017
【分類號(hào)】:TP393.09
【參考文獻(xiàn)】
相關(guān)期刊論文 前8條
1 ;云計(jì)算發(fā)展三年行動(dòng)計(jì)劃(2017-2019年)[J];電子政務(wù);2017年04期
2 沈堯;秦小麟;鮑芝峰;;一種云環(huán)境中數(shù)據(jù)流的高效多目標(biāo)調(diào)度方法[J];軟件學(xué)報(bào);2017年03期
3 陳星;蘭興土;李隘鵬;郭文忠;黃罡;;基于運(yùn)行時(shí)模型的混合云管理方法[J];軟件學(xué)報(bào);2017年07期
4 林偉偉;吳文泰;;面向云計(jì)算環(huán)境的能耗測(cè)量和管理方法[J];軟件學(xué)報(bào);2016年04期
5 李學(xué)俊;吳洋;劉曉;程慧敏;朱二周;楊耘;;混合云中面向數(shù)據(jù)中心的工作流數(shù)據(jù)布局方法[J];軟件學(xué)報(bào);2016年07期
6 鄭麗麗;武繼剛;陳勇;朱梅霞;;帶權(quán)圖的均衡k劃分[J];計(jì)算機(jī)研究與發(fā)展;2015年03期
7 羅亮;吳文峻;張飛;;面向云計(jì)算數(shù)據(jù)中心的能耗建模方法[J];軟件學(xué)報(bào);2014年07期
8 梅宏;劉媈哲;;互聯(lián)網(wǎng)時(shí)代的軟件技術(shù):現(xiàn)狀與趨勢(shì)[J];科學(xué)通報(bào);2010年13期
相關(guān)博士學(xué)位論文 前2條
1 梁慶中;混合云平臺(tái)上多目標(biāo)任務(wù)調(diào)度算法研究[D];中國(guó)地質(zhì)大學(xué);2015年
2 馬永剛;圖劃分方法及其在分布式網(wǎng)絡(luò)環(huán)境下的應(yīng)用[D];大連理工大學(xué);2012年
,本文編號(hào):1876730
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1876730.html