【摘要】：隨著云計算在過去十年間的發(fā)展,越來越多的軟件廠商和軟件服務(wù)提供商選擇將業(yè)務(wù)遷移到云平臺中以降低自身的運營維護(hù)成本。容器虛擬化技術(shù)作為云計算的另一種實現(xiàn)方式,由于其輕量、高效的特性在過去幾年備受云計算廠商的關(guān)注和青睞,Docker作為目前最受歡迎的容器虛擬化平臺,由于其提出的Docker鏡像機(jī)制而被廣泛應(yīng)用于容器云中充當(dāng)基礎(chǔ)平臺。于此同時,隨著互聯(lián)網(wǎng)的爆發(fā)和普及,突發(fā)性的負(fù)載變化越來越成為常態(tài)。雖然容器云用戶可以通過設(shè)定閾值的方式通過監(jiān)控負(fù)載狀態(tài)進(jìn)行服務(wù)的自動伸縮,但是這些調(diào)整都只能被動地相應(yīng)負(fù)載的變化,除了滯后于實際負(fù)載變化外還需要依賴用戶根據(jù)主觀的方式來設(shè)定閾值。除此之外,目前用于構(gòu)建容器云的容器集群框架中并沒有合理服務(wù)的可用性需求和負(fù)載需求,只是單純地利用服務(wù)的實例數(shù)來統(tǒng)一應(yīng)對服務(wù)的可用性需求和負(fù)載要求。在應(yīng)對負(fù)載變化方面,現(xiàn)有的容器集群框架也更多的關(guān)注于對應(yīng)用或者服務(wù)的負(fù)載均衡,在負(fù)載迅速變化的場景下缺乏相應(yīng)的任務(wù)調(diào)度和管理機(jī)制,從而無法快速響應(yīng)變化的負(fù)載。為了應(yīng)對如今越來越復(fù)雜的負(fù)載環(huán)境,本文提出了一個基于容器的主動式云資源管理模型,著重解決在滿足可用性指標(biāo)的前提下,通過對負(fù)載進(jìn)行預(yù)測來提前對服務(wù)進(jìn)行調(diào)整,根據(jù)預(yù)測的結(jié)果主動對服務(wù)進(jìn)行調(diào)整以應(yīng)對負(fù)載的變化,減少用戶手動的調(diào)節(jié)設(shè)置;利用容器鏡像的特性使容器云快速響應(yīng)負(fù)載的變化,從而更好地應(yīng)對現(xiàn)實中激烈多變的負(fù)載,在保證容器云中服務(wù)的服務(wù)質(zhì)量的同時降低了容器云供應(yīng)商的成本。本文將內(nèi)存、CPU時間、磁盤和網(wǎng)絡(luò)帶寬等資源的使用量和使用率作為負(fù)載的衡量,對系統(tǒng)進(jìn)行實時的監(jiān)測,從而獲得系統(tǒng)實時的負(fù)載狀態(tài)。隨后根據(jù)歷史資源使用狀態(tài)監(jiān)測數(shù)據(jù),通過使用相應(yīng)的預(yù)測模型對資源使用狀態(tài)進(jìn)行預(yù)測,給出未來一段時間內(nèi)的資源使用量的預(yù)測值。在獲得預(yù)測到的資源使用狀態(tài)之后,本文通過模型中的資源供給方案生成模塊將相應(yīng)的資源使用量轉(zhuǎn)化成相應(yīng)服務(wù)需要的實例數(shù)。由于預(yù)測本身不能保證完全的準(zhǔn)確,我們在模型中通過資源供給優(yōu)化模塊根據(jù)實時的資源使用狀態(tài)對服務(wù)實例規(guī)模進(jìn)行調(diào)整。資源管理模塊會基于滿足服務(wù)可用性要求所需要的副本數(shù),分別根據(jù)基于預(yù)測和實際監(jiān)測得到的實例數(shù)確認(rèn)最終進(jìn)行調(diào)整的任務(wù)實例規(guī)模。在確認(rèn)了最終需要調(diào)整的服務(wù)實例規(guī)模之后,本文提出的模型通過負(fù)載優(yōu)化模塊利用服務(wù)伸縮的方法進(jìn)行實際的調(diào)整。本文利用Docker鏡像的層級文件系統(tǒng)和內(nèi)容尋址特性,提出一個基于層級文件緩存的啟發(fā)式調(diào)度算法。根據(jù)當(dāng)前容器云中所有節(jié)點的資源分配狀態(tài)和目標(biāo)服務(wù)的限制選擇合適的節(jié)點來托管相應(yīng)任務(wù)實例,通過分析服務(wù)中任務(wù)實例的分布狀態(tài),利用節(jié)點上的Docker鏡像層級文件緩存以減少依賴環(huán)境的下載和安裝的耗時,從而降低了服務(wù)伸縮操作的延遲,達(dá)到在保證服務(wù)可用性的基礎(chǔ)上提升響應(yīng)速度的目標(biāo)。最后,本文為了驗證模型的有效性設(shè)計了相關(guān)實驗。實驗結(jié)果證明,本課題使用的預(yù)測模型可以為主動性調(diào)整提供一個相對可靠的預(yù)測結(jié)果;在負(fù)載急劇增加的場景下,和Docker swarm框架相比,本文提出的模型顯著加快了服務(wù)在容器云中的擴(kuò)展速度;而在負(fù)載降低的場景下,本文提出的模型保證了服務(wù)收縮的操作和Docker swarm框架中的服務(wù)收縮操作一樣高效;在對服務(wù)的實例規(guī)模進(jìn)行調(diào)整的過程中,服務(wù)的樣本規(guī)模始終保證滿足設(shè)定的副本數(shù)目標(biāo)。從所有的實驗結(jié)果可以看出本文提出的模型在負(fù)載變化的環(huán)境下可以提升容器云對變化負(fù)載的應(yīng)對能力和服務(wù)調(diào)整的靈活性。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP302
【圖文】：

Fig 5 1 The load trend of 98’ World Cup Site5.2 資源使用狀態(tài)預(yù)測模塊有效性驗證由圖5 1中可以看出，流量的變化主要和比賽日時間有關(guān)，諸如工作日等日常的時間標(biāo)志對流量變化的影響很小。比賽日之間的流量變化模式比較近似，而且在若干時間段內(nèi)存在流量急速增加和迅速降低的場景。除此之外，通過對原始數(shù)據(jù)的分析，我們還發(fā)現(xiàn)每天不同時間段流量的變化基本是相似的。98 年世界杯網(wǎng)站的數(shù)據(jù)集包括了從1998 年 4 月 30 日到 1998 年 7 月 26 日之間網(wǎng)站的歷史訪問記錄，而 1998 年世界杯的比賽日程為 1998 年 6 月 10 日到 1998 年 7 月 12 日。我們從整個樣本集中選取了 6 月16 日到 7 月 9 日之間世界杯網(wǎng)站的部分流量數(shù)據(jù)記錄作為本次實驗的預(yù)測評估數(shù)據(jù)集，分別利用基于整合移動平均自回歸模型的預(yù)測算法和基于長短期記憶模型的預(yù)測算法在相應(yīng)數(shù)據(jù)上進(jìn)行預(yù)測，并給出相應(yīng)的預(yù)測結(jié)果評估。5.2.1 基于整合移動平均自回歸模型的預(yù)測實驗在整合移動平均自回歸模型模型的預(yù)測算法中，我們維護(hù)了一個 4 天的時間窗口。由于整合移動平均自回歸模型的預(yù)測計算量隨著時間窗口的增加而增加

器的主動式云負(fù)載均衡技術(shù) 上海交通大學(xué)碩士學(xué)位論文果如圖5 2所示：(a) 6 月 18 日到 6 月 19 日 (b) 6 月 24 日(c) 7 月 8 日到 7 月 9 日 (d) 7 月 11 日到 7 月 13 日圖 5 2 基于整合移動平均自回歸模型的預(yù)測結(jié)果Fig 5 2 The load prediction of ARIMA表5 2從預(yù)測正確率、預(yù)測偏差率和預(yù)測偏方差率這三個角度顯示了基于整合移動平均自回歸模型的預(yù)測算法對四個不同時間段內(nèi)流量的實際預(yù)測結(jié)果：表 5 2 基于整合移動平均自回歸模型的預(yù)測算法評估Table 5 2 The precision of prediction for loads based on ARIMA model6.18 到 6.19 6.24 7.8 到 7.9 7.11 到 7.13預(yù)測正確率 47.9% 45.2% 48.0% 49.1%預(yù)測偏差率 3.7% 5.2% 7.0% 7.2%預(yù)測偏方差率 7.5% 10.3% 14.2% 14.4%由表5 2可知，基于整合移動平均自回歸模型的預(yù)測算法對上述四個時間段的負(fù)載預(yù)測精度大體相似，在負(fù)載波動穩(wěn)定的場景下準(zhǔn)確率較高，但是在 7 月 8 日到 7 月 13日之間出現(xiàn)負(fù)載大幅變化的場景下，該預(yù)測算法的預(yù)測穩(wěn)定性明顯下降。整體而言，基— 42 —

然后根據(jù)訓(xùn)練得出的模型預(yù)測下一個周期的資源使用量，我們選擇基于 5 月 1 日到 6 月 17 日之間的歷史數(shù)據(jù)進(jìn)行訓(xùn)練，并根據(jù)此次訓(xùn)練所得的模型進(jìn)行后續(xù)的負(fù)載預(yù)測計算。圖5 2顯示了我們利用基于長短期記憶模型的預(yù)測算法，對 6 月 18 日到 6 月 19日之間、6 月 24 日當(dāng)天、7 月 8 日到 7 月 9 日之間和 7 月 11 日到 7 月 13 日期間的流量數(shù)據(jù)進(jìn)行預(yù)測的結(jié)果：(a) 6 月 18 日到 6 月 19 日 (b) 6 月 24 日(c) 7 月 8 日到 7 月 9 日 (d) 7 月 11 日到 7 月 13 日圖 5 3 基于長短期記憶模型的預(yù)測結(jié)果Fig 5 3 The load prediction of LSTM表5 3從預(yù)測正確率、預(yù)測偏差率和預(yù)測偏方差率這三個角度顯示了基于長短期記憶模型的預(yù)測算法對四個不同時間段內(nèi)流量的實際預(yù)測結(jié)果：我們從表5 3中可以發(fā)現(xiàn)，基于長短期記憶模型的預(yù)測算法對 7 月 8 日到 7 月 9 日之間的負(fù)載數(shù)據(jù)在預(yù)測正確率上出現(xiàn)了明顯抖動。這主要是由于 7 月 8 日當(dāng)天的負(fù)載驟— 43 —

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張鵬;;負(fù)載均衡技術(shù)的分類及應(yīng)用研究[J];科技創(chuàng)新與應(yīng)用;2016年16期

2 龍佳琴;;負(fù)載均衡技術(shù)在企業(yè)中的應(yīng)用研究[J];計算機(jī)光盤軟件與應(yīng)用;2014年06期

3 梅琨;余慧;;應(yīng)用負(fù)載均衡技術(shù)原理與實現(xiàn)[J];電腦與電信;2014年06期

4 張維;;淺析負(fù)載均衡技術(shù)[J];計算機(jī)光盤軟件與應(yīng)用;2012年06期

5 毛正標(biāo);楊順韜;;容錯與負(fù)載均衡技術(shù)應(yīng)用的研究[J];廣西師范學(xué)院學(xué)報(自然科學(xué)版);2010年03期

6 李坤;王百杰;;服務(wù)器集群負(fù)載均衡技術(shù)研究及算法比較[J];計算機(jī)與現(xiàn)代化;2009年08期

7 蔣鴻城;洪建光;謝知寒;;業(yè)務(wù)需求驅(qū)動下的負(fù)載均衡技術(shù)研究與應(yīng)用[J];電力信息化;2008年S1期

8 封鐸;;鏈路負(fù)載均衡技術(shù)及其在電信網(wǎng)絡(luò)中的應(yīng)用[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2008年11期

9 劉學(xué)輝;;關(guān)于負(fù)載均衡技術(shù)的研究[J];科技資訊;2007年12期

10 王俊飛;;全局負(fù)載均衡技術(shù)在互聯(lián)網(wǎng)中的實現(xiàn)[J];廣東科技;2007年05期

相關(guān)會議論文 前10條

1 周斌;趙新建;周玉宏;;基于負(fù)載均衡技術(shù)的高速防火墻設(shè)計與實現(xiàn)[A];2007年全國微波毫米波會議論文集（下冊）[C];2007年

2 賈成強(qiáng);孫玫肖;;負(fù)載均衡技術(shù)及其在客票系統(tǒng)5．0版中的應(yīng)用[A];中國鐵路客票發(fā)售和預(yù)訂系統(tǒng)5.0版應(yīng)用研討會論文集[C];2006年

3 賈波;張集祥;;基于Distributed binning策略的CDN負(fù)載均衡技術(shù)[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

4 柯怡;林宇;金躍輝;程時端;;GNP算法與基于GNP的全局負(fù)載均衡技術(shù)[A];第九屆全國青年通信學(xué)術(shù)會議論文集[C];2004年

5 于志波;袁野;;負(fù)載均衡技術(shù)在山東黃河網(wǎng)絡(luò)管理中的研究與應(yīng)用[A];2019（第七屆）中國水利信息化技術(shù)論壇論文集[C];2019年

6 錢雯s

本文編號：2788423