【摘要】：在滿足應(yīng)用QoS的前提下,提高系統(tǒng)的資源利用率,是數(shù)據(jù)中心資源管理的一個(gè)難點(diǎn),原因在于應(yīng)用的資源消耗是動(dòng)態(tài)變化的.為了保證應(yīng)用的QoS,需要實(shí)時(shí)預(yù)測(cè)應(yīng)用的資源需求,并以此為基礎(chǔ)動(dòng)態(tài)按需供應(yīng)資源.已有的資源預(yù)測(cè)算法可以分為兩類:一類需要與應(yīng)用進(jìn)行實(shí)時(shí)交互以監(jiān)測(cè)負(fù)載和性能,預(yù)測(cè)精度高,但擴(kuò)展性差;另一類只需要在外部監(jiān)測(cè)應(yīng)用的資源消耗,擴(kuò)展性好,但是現(xiàn)有算法的預(yù)測(cè)精度較低.該文針對(duì)第二類方法的不足,結(jié)合全局及局部的資源消耗變化趨勢(shì)來改進(jìn)已有的預(yù)測(cè)算法.實(shí)驗(yàn)證明改進(jìn)后的預(yù)測(cè)精確度可以達(dá)到95%以上.資源需求的動(dòng)態(tài)變化會(huì)導(dǎo)致節(jié)點(diǎn)資源無法滿足所有應(yīng)用的QoS,常用的解決方法是采用虛擬機(jī)遷移進(jìn)行負(fù)載平衡,但是遷移虛擬機(jī)會(huì)帶來相當(dāng)大的額外資源消耗.該文提出了一種作業(yè)資源匹配算法,對(duì)數(shù)據(jù)中心所有作業(yè)進(jìn)行布局,使不同優(yōu)先級(jí)、不同資源需求及變化規(guī)律的作業(yè)在節(jié)點(diǎn)上混合部署,不僅極大地降低了發(fā)生節(jié)點(diǎn)資源緊缺的頻度,而且實(shí)驗(yàn)證明,該算法在相同的資源需求下,還能提高應(yīng)用的性能.
【圖文】：

密集、網(wǎng)絡(luò)密集等．并且，應(yīng)用的資源需求還隨著時(shí)間動(dòng)態(tài)變化，尤其是在線網(wǎng)絡(luò)應(yīng)用．如圖１所示為某互聯(lián)網(wǎng)公司一臺(tái)運(yùn)行某在線游戲的４核節(jié)點(diǎn)連續(xù)２４小時(shí)ＣＰＵ負(fù)載的變化情況，波峰時(shí)的資源消耗為波谷時(shí)的數(shù)倍．為了節(jié)省軟硬件成本，提高系統(tǒng)資源利用率，數(shù)據(jù)中心需要合理地調(diào)度各類作業(yè)并為其分配資源，使得系統(tǒng)資源有序復(fù)用，達(dá)到負(fù)載平衡．然而，應(yīng)用對(duì)資源需求的多樣性和動(dòng)態(tài)性給資源管理帶來了挑戰(zhàn)：既要滿足各個(gè)應(yīng)用的服務(wù)質(zhì)量（ＱｏＳ），又要提高系統(tǒng)的資源利用率．圖１ＣＰＵ負(fù)載變化圖應(yīng)對(duì)這個(gè)挑戰(zhàn)的難點(diǎn)之一是如何準(zhǔn)確實(shí)時(shí)地預(yù)測(cè)應(yīng)用的資源需求，從而動(dòng)態(tài)地為應(yīng)用供應(yīng)資源．目前已有的預(yù)測(cè)技術(shù)根據(jù)輸入可以分為兩類：一類是根據(jù)應(yīng)用當(dāng)前的負(fù)載、性能和資源消耗來預(yù)測(cè)下一個(gè)時(shí)間周期的資源需求，由于應(yīng)用的性能指標(biāo)和負(fù)載的類型具有多樣性，這類方法需要為每種應(yīng)用設(shè)計(jì)不同的監(jiān)控模塊，而且要與應(yīng)用進(jìn)行交互以獲得應(yīng)用的當(dāng)前性能及負(fù)載．因而，這類方法的一個(gè)顯著不足就是通用性和擴(kuò)展性差．另一類僅僅依據(jù)外圍監(jiān)測(cè)的資源消耗來預(yù)測(cè)，，已有預(yù)測(cè)機(jī)制有：線性增加、指數(shù)下降，大幅增加、小幅下降，服務(wù)分級(jí)等，這類方法的優(yōu)點(diǎn)是簡(jiǎn)單實(shí)用，不足是預(yù)測(cè)機(jī)制太簡(jiǎn)單導(dǎo)致預(yù)測(cè)精度不高．本文針對(duì)第二類方法的不足，結(jié)合全局及局部的資源消耗變化趨勢(shì)進(jìn)行改進(jìn)．應(yīng)對(duì)這個(gè)挑戰(zhàn)的難點(diǎn)之二是如何有效地動(dòng)態(tài)供應(yīng)資源．?dāng)?shù)據(jù)中心資源管理的目的是整合服務(wù)、平衡負(fù)載、充分利用資源，不僅需要提高單臺(tái)節(jié)點(diǎn)的資源利用率，還需要平衡整個(gè)數(shù)據(jù)中心的負(fù)載．資源需求的動(dòng)態(tài)變化會(huì)導(dǎo)致節(jié)點(diǎn)資源無法滿足所有應(yīng)用的ＱｏＳ，造成節(jié)點(diǎn)負(fù)載不均衡．常用的解決方法是通

租相同的資源，獲得最大的利潤）．文獻(xiàn)［２３］的全局資源管理器的計(jì)算原則是取得最優(yōu)的應(yīng)用性能．本文也采用兩層的資源管理框架：全局資源管理器在下發(fā)作業(yè)時(shí)，結(jié)合作業(yè)的優(yōu)先級(jí)、資源需求以及資源消耗變化規(guī)律等屬性特征和數(shù)據(jù)中心資源負(fù)載的分布狀況，為作業(yè)選擇合適的節(jié)點(diǎn)，混合部署作業(yè)，以減少同類資源競(jìng)爭(zhēng)，避免節(jié)點(diǎn)負(fù)載過重，實(shí)現(xiàn)無需進(jìn)行虛擬機(jī)遷移就能達(dá)到數(shù)據(jù)中心負(fù)載平衡的目的；局部資源管理器動(dòng)態(tài)預(yù)測(cè)各個(gè)應(yīng)用的資源需求，調(diào)整節(jié)點(diǎn)上各個(gè)容器的資源配置，保證高優(yōu)先級(jí)應(yīng)用的服務(wù)質(zhì)量．圖２作業(yè)資源管理架構(gòu)３基于ＬｉｎｕｘＣｏｎｔａｉｎｅｒ的資源管理框架基于容器的資源管理系統(tǒng)架構(gòu)如圖２所示．用戶通過客戶端提交作業(yè)．中央管理器是系統(tǒng)的核心，包含作業(yè)調(diào)度器和全局資源管理器兩個(gè)組件，主要職責(zé)是為作業(yè)尋找合適的執(zhí)行節(jié)點(diǎn)．為了增強(qiáng)可靠性，一個(gè)數(shù)據(jù)中心至少配置兩個(gè)中央管理器，通過ＺｏｏＫｅｅｐｅｒ①的領(lǐng)導(dǎo)者（Ｌｅａｄｅｒ）選舉保證只有一個(gè)處于活躍狀態(tài)．系統(tǒng)中除了中央管理器以及運(yùn)行Ｚｏｏｋｅｅｐｅｒ的節(jié)點(diǎn)以外，其余所有節(jié)點(diǎn)都是執(zhí)行節(jié)點(diǎn)．每臺(tái)執(zhí)行節(jié)點(diǎn)上都運(yùn)行一個(gè)局部資源管理器，接收中央管理器下發(fā)的任務(wù)（一個(gè)作業(yè)包含若干個(gè)任務(wù)），并為每個(gè)任務(wù)創(chuàng)建一臺(tái)輕量級(jí)的虛擬機(jī)（ＬｉｎｕｘＣｏｎｔａｉｎｅｒ）．?dāng)?shù)據(jù)中心中的所有節(jié)點(diǎn)共享一個(gè)分布式文件系統(tǒng)．用戶通過瀏覽器可以查詢作業(yè)調(diào)度器中的作業(yè)所處的狀態(tài)（等待下發(fā)、已下發(fā)、正在執(zhí)行、執(zhí)行出錯(cuò)）、各個(gè)節(jié)點(diǎn)的資源使用狀況及節(jié)點(diǎn)上運(yùn)行的作業(yè)信息．作業(yè)調(diào)度器接收用戶提交的作業(yè)，按照優(yōu)先級(jí)排序，每次選擇優(yōu)先級(jí)最高的作業(yè)，向全局資源管理器申請(qǐng)資

【共引文獻(xiàn)】

相關(guān)博士學(xué)位論文 前4條

1 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

2 樂冠;面向服務(wù)系統(tǒng)的自適應(yīng)資源管理技術(shù)研究[D];北京郵電大學(xué);2013年

3 劉志飄;成本感知的云服務(wù)虛擬資源供應(yīng)機(jī)制研究[D];北京郵電大學(xué);2013年

4 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 劉莉;異構(gòu)集群下并行任務(wù)的復(fù)制調(diào)度算法[D];武漢紡織大學(xué);2013年

2 趙建峰;基于遺傳算法和蟻群算法的節(jié)能調(diào)度研究[D];山東大學(xué);2013年

3 李松;開源云計(jì)算平臺(tái)管理支撐平臺(tái)的研究與實(shí)現(xiàn)[D];山東大學(xué);2013年

4 諶侃;用戶數(shù)據(jù)融合云計(jì)算存儲(chǔ)方案研究[D];北京郵電大學(xué);2013年

5 趙曉冰;Hadoop平臺(tái)下的作業(yè)調(diào)度算法的研究[D];鄭州大學(xué);2013年

6 吳莎;基于云環(huán)境的SLA及任務(wù)調(diào)度算法的研究與實(shí)現(xiàn)[D];西北大學(xué);2013年

7 陳剛;云計(jì)算中基于XEN的虛擬機(jī)動(dòng)態(tài)遷移的研究[D];武漢理工大學(xué);2013年

8 張璞;基于Xen的虛擬機(jī)動(dòng)態(tài)遷移策略研究[D];遼寧大學(xué);2013年

9 張海洲;基于利用率和負(fù)載均衡的云資源調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2013年

10 胡丹丹;獲益驅(qū)動(dòng)的虛擬機(jī)資源動(dòng)態(tài)管理策略研究[D];廣西大學(xué);2013年

本文編號(hào)：2644151