【摘要】：在滿足應(yīng)用QoS的前提下,提高系統(tǒng)的資源利用率,是數(shù)據(jù)中心資源管理的一個難點(diǎn),原因在于應(yīng)用的資源消耗是動態(tài)變化的.為了保證應(yīng)用的QoS,需要實時預(yù)測應(yīng)用的資源需求,并以此為基礎(chǔ)動態(tài)按需供應(yīng)資源.已有的資源預(yù)測算法可以分為兩類:一類需要與應(yīng)用進(jìn)行實時交互以監(jiān)測負(fù)載和性能,預(yù)測精度高,但擴(kuò)展性差;另一類只需要在外部監(jiān)測應(yīng)用的資源消耗,擴(kuò)展性好,但是現(xiàn)有算法的預(yù)測精度較低.該文針對第二類方法的不足,結(jié)合全局及局部的資源消耗變化趨勢來改進(jìn)已有的預(yù)測算法.實驗證明改進(jìn)后的預(yù)測精確度可以達(dá)到95%以上.資源需求的動態(tài)變化會導(dǎo)致節(jié)點(diǎn)資源無法滿足所有應(yīng)用的QoS,常用的解決方法是采用虛擬機(jī)遷移進(jìn)行負(fù)載平衡,但是遷移虛擬機(jī)會帶來相當(dāng)大的額外資源消耗.該文提出了一種作業(yè)資源匹配算法,對數(shù)據(jù)中心所有作業(yè)進(jìn)行布局,使不同優(yōu)先級、不同資源需求及變化規(guī)律的作業(yè)在節(jié)點(diǎn)上混合部署,不僅極大地降低了發(fā)生節(jié)點(diǎn)資源緊缺的頻度,而且實驗證明,該算法在相同的資源需求下,還能提高應(yīng)用的性能.
【圖文】：

密集、網(wǎng)絡(luò)密集等．并且，應(yīng)用的資源需求還隨著時間動態(tài)變化，尤其是在線網(wǎng)絡(luò)應(yīng)用．如圖１所示為某互聯(lián)網(wǎng)公司一臺運(yùn)行某在線游戲的４核節(jié)點(diǎn)連續(xù)２４小時ＣＰＵ負(fù)載的變化情況，波峰時的資源消耗為波谷時的數(shù)倍．為了節(jié)省軟硬件成本，提高系統(tǒng)資源利用率，數(shù)據(jù)中心需要合理地調(diào)度各類作業(yè)并為其分配資源，使得系統(tǒng)資源有序復(fù)用，達(dá)到負(fù)載平衡．然而，應(yīng)用對資源需求的多樣性和動態(tài)性給資源管理帶來了挑戰(zhàn)：既要滿足各個應(yīng)用的服務(wù)質(zhì)量（ＱｏＳ），又要提高系統(tǒng)的資源利用率．圖１ＣＰＵ負(fù)載變化圖應(yīng)對這個挑戰(zhàn)的難點(diǎn)之一是如何準(zhǔn)確實時地預(yù)測應(yīng)用的資源需求，從而動態(tài)地為應(yīng)用供應(yīng)資源．目前已有的預(yù)測技術(shù)根據(jù)輸入可以分為兩類：一類是根據(jù)應(yīng)用當(dāng)前的負(fù)載、性能和資源消耗來預(yù)測下一個時間周期的資源需求，由于應(yīng)用的性能指標(biāo)和負(fù)載的類型具有多樣性，這類方法需要為每種應(yīng)用設(shè)計不同的監(jiān)控模塊，而且要與應(yīng)用進(jìn)行交互以獲得應(yīng)用的當(dāng)前性能及負(fù)載．因而，這類方法的一個顯著不足就是通用性和擴(kuò)展性差．另一類僅僅依據(jù)外圍監(jiān)測的資源消耗來預(yù)測，，已有預(yù)測機(jī)制有：線性增加、指數(shù)下降，大幅增加、小幅下降，服務(wù)分級等，這類方法的優(yōu)點(diǎn)是簡單實用，不足是預(yù)測機(jī)制太簡單導(dǎo)致預(yù)測精度不高．本文針對第二類方法的不足，結(jié)合全局及局部的資源消耗變化趨勢進(jìn)行改進(jìn)．應(yīng)對這個挑戰(zhàn)的難點(diǎn)之二是如何有效地動態(tài)供應(yīng)資源．?dāng)?shù)據(jù)中心資源管理的目的是整合服務(wù)、平衡負(fù)載、充分利用資源，不僅需要提高單臺節(jié)點(diǎn)的資源利用率，還需要平衡整個數(shù)據(jù)中心的負(fù)載．資源需求的動態(tài)變化會導(dǎo)致節(jié)點(diǎn)資源無法滿足所有應(yīng)用的ＱｏＳ，造成節(jié)點(diǎn)負(fù)載不均衡．常用的解決方法是通

租相同的資源，獲得最大的利潤）．文獻(xiàn)［２３］的全局資源管理器的計算原則是取得最優(yōu)的應(yīng)用性能．本文也采用兩層的資源管理框架：全局資源管理器在下發(fā)作業(yè)時，結(jié)合作業(yè)的優(yōu)先級、資源需求以及資源消耗變化規(guī)律等屬性特征和數(shù)據(jù)中心資源負(fù)載的分布狀況，為作業(yè)選擇合適的節(jié)點(diǎn)，混合部署作業(yè)，以減少同類資源競爭，避免節(jié)點(diǎn)負(fù)載過重，實現(xiàn)無需進(jìn)行虛擬機(jī)遷移就能達(dá)到數(shù)據(jù)中心負(fù)載平衡的目的；局部資源管理器動態(tài)預(yù)測各個應(yīng)用的資源需求，調(diào)整節(jié)點(diǎn)上各個容器的資源配置，保證高優(yōu)先級應(yīng)用的服務(wù)質(zhì)量．圖２作業(yè)資源管理架構(gòu)３基于ＬｉｎｕｘＣｏｎｔａｉｎｅｒ的資源管理框架基于容器的資源管理系統(tǒng)架構(gòu)如圖２所示．用戶通過客戶端提交作業(yè)．中央管理器是系統(tǒng)的核心，包含作業(yè)調(diào)度器和全局資源管理器兩個組件，主要職責(zé)是為作業(yè)尋找合適的執(zhí)行節(jié)點(diǎn)．為了增強(qiáng)可靠性，一個數(shù)據(jù)中心至少配置兩個中央管理器，通過ＺｏｏＫｅｅｐｅｒ①的領(lǐng)導(dǎo)者（Ｌｅａｄｅｒ）選舉保證只有一個處于活躍狀態(tài)．系統(tǒng)中除了中央管理器以及運(yùn)行Ｚｏｏｋｅｅｐｅｒ的節(jié)點(diǎn)以外，其余所有節(jié)點(diǎn)都是執(zhí)行節(jié)點(diǎn)．每臺執(zhí)行節(jié)點(diǎn)上都運(yùn)行一個局部資源管理器，接收中央管理器下發(fā)的任務(wù)（一個作業(yè)包含若干個任務(wù)），并為每個任務(wù)創(chuàng)建一臺輕量級的虛擬機(jī)（ＬｉｎｕｘＣｏｎｔａｉｎｅｒ）．?dāng)?shù)據(jù)中心中的所有節(jié)點(diǎn)共享一個分布式文件系統(tǒng)．用戶通過瀏覽器可以查詢作業(yè)調(diào)度器中的作業(yè)所處的狀態(tài)（等待下發(fā)、已下發(fā)、正在執(zhí)行、執(zhí)行出錯）、各個節(jié)點(diǎn)的資源使用狀況及節(jié)點(diǎn)上運(yùn)行的作業(yè)信息．作業(yè)調(diào)度器接收用戶提交的作業(yè)，按照優(yōu)先級排序，每次選擇優(yōu)先級最高的作業(yè)，向全局資源管理器申請資

【共引文獻(xiàn)】

相關(guān)博士學(xué)位論文 前4條

1 張小慶;基于云計算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

2 樂冠;面向服務(wù)系統(tǒng)的自適應(yīng)資源管理技術(shù)研究[D];北京郵電大學(xué);2013年

3 劉志飄;成本感知的云服務(wù)虛擬資源供應(yīng)機(jī)制研究[D];北京郵電大學(xué);2013年

4 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 劉莉;異構(gòu)集群下并行任務(wù)的復(fù)制調(diào)度算法[D];武漢紡織大學(xué);2013年

2 趙建峰;基于遺傳算法和蟻群算法的節(jié)能調(diào)度研究[D];山東大學(xué);2013年

3 李松;開源云計算平臺管理支撐平臺的研究與實現(xiàn)[D];山東大學(xué);2013年

4 諶侃;用戶數(shù)據(jù)融合云計算存儲方案研究[D];北京郵電大學(xué);2013年

5 趙曉冰;Hadoop平臺下的作業(yè)調(diào)度算法的研究[D];鄭州大學(xué);2013年

6 吳莎;基于云環(huán)境的SLA及任務(wù)調(diào)度算法的研究與實現(xiàn)[D];西北大學(xué);2013年

7 陳剛;云計算中基于XEN的虛擬機(jī)動態(tài)遷移的研究[D];武漢理工大學(xué);2013年

8 張璞;基于Xen的虛擬機(jī)動態(tài)遷移策略研究[D];遼寧大學(xué);2013年

9 張海洲;基于利用率和負(fù)載均衡的云資源調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2013年

10 胡丹丹;獲益驅(qū)動的虛擬機(jī)資源動態(tài)管理策略研究[D];廣西大學(xué);2013年

本文編號：2644151