【摘要】：隨著云計算在過去十年間的發(fā)展,越來越多的軟件廠商和軟件服務(wù)提供商選擇將業(yè)務(wù)遷移到云平臺中以降低自身的運營維護成本。容器虛擬化技術(shù)作為云計算的另一種實現(xiàn)方式,由于其輕量、高效的特性在過去幾年備受云計算廠商的關(guān)注和青睞,Docker作為目前最受歡迎的容器虛擬化平臺,由于其提出的Docker鏡像機制而被廣泛應(yīng)用于容器云中充當基礎(chǔ)平臺。于此同時,隨著互聯(lián)網(wǎng)的爆發(fā)和普及,突發(fā)性的負載變化越來越成為常態(tài)。雖然容器云用戶可以通過設(shè)定閾值的方式通過監(jiān)控負載狀態(tài)進行服務(wù)的自動伸縮,但是這些調(diào)整都只能被動地相應(yīng)負載的變化,除了滯后于實際負載變化外還需要依賴用戶根據(jù)主觀的方式來設(shè)定閾值。除此之外,目前用于構(gòu)建容器云的容器集群框架中并沒有合理服務(wù)的可用性需求和負載需求,只是單純地利用服務(wù)的實例數(shù)來統(tǒng)一應(yīng)對服務(wù)的可用性需求和負載要求。在應(yīng)對負載變化方面,現(xiàn)有的容器集群框架也更多的關(guān)注于對應(yīng)用或者服務(wù)的負載均衡,在負載迅速變化的場景下缺乏相應(yīng)的任務(wù)調(diào)度和管理機制,從而無法快速響應(yīng)變化的負載。為了應(yīng)對如今越來越復雜的負載環(huán)境,本文提出了一個基于容器的主動式云資源管理模型,著重解決在滿足可用性指標的前提下,通過對負載進行預測來提前對服務(wù)進行調(diào)整,根據(jù)預測的結(jié)果主動對服務(wù)進行調(diào)整以應(yīng)對負載的變化,減少用戶手動的調(diào)節(jié)設(shè)置;利用容器鏡像的特性使容器云快速響應(yīng)負載的變化,從而更好地應(yīng)對現(xiàn)實中激烈多變的負載,在保證容器云中服務(wù)的服務(wù)質(zhì)量的同時降低了容器云供應(yīng)商的成本。本文將內(nèi)存、CPU時間、磁盤和網(wǎng)絡(luò)帶寬等資源的使用量和使用率作為負載的衡量,對系統(tǒng)進行實時的監(jiān)測,從而獲得系統(tǒng)實時的負載狀態(tài)。隨后根據(jù)歷史資源使用狀態(tài)監(jiān)測數(shù)據(jù),通過使用相應(yīng)的預測模型對資源使用狀態(tài)進行預測,給出未來一段時間內(nèi)的資源使用量的預測值。在獲得預測到的資源使用狀態(tài)之后,本文通過模型中的資源供給方案生成模塊將相應(yīng)的資源使用量轉(zhuǎn)化成相應(yīng)服務(wù)需要的實例數(shù)。由于預測本身不能保證完全的準確,我們在模型中通過資源供給優(yōu)化模塊根據(jù)實時的資源使用狀態(tài)對服務(wù)實例規(guī)模進行調(diào)整。資源管理模塊會基于滿足服務(wù)可用性要求所需要的副本數(shù),分別根據(jù)基于預測和實際監(jiān)測得到的實例數(shù)確認最終進行調(diào)整的任務(wù)實例規(guī)模。在確認了最終需要調(diào)整的服務(wù)實例規(guī)模之后,本文提出的模型通過負載優(yōu)化模塊利用服務(wù)伸縮的方法進行實際的調(diào)整。本文利用Docker鏡像的層級文件系統(tǒng)和內(nèi)容尋址特性,提出一個基于層級文件緩存的啟發(fā)式調(diào)度算法。根據(jù)當前容器云中所有節(jié)點的資源分配狀態(tài)和目標服務(wù)的限制選擇合適的節(jié)點來托管相應(yīng)任務(wù)實例,通過分析服務(wù)中任務(wù)實例的分布狀態(tài),利用節(jié)點上的Docker鏡像層級文件緩存以減少依賴環(huán)境的下載和安裝的耗時,從而降低了服務(wù)伸縮操作的延遲,達到在保證服務(wù)可用性的基礎(chǔ)上提升響應(yīng)速度的目標。最后,本文為了驗證模型的有效性設(shè)計了相關(guān)實驗。實驗結(jié)果證明,本課題使用的預測模型可以為主動性調(diào)整提供一個相對可靠的預測結(jié)果;在負載急劇增加的場景下,和Docker swarm框架相比,本文提出的模型顯著加快了服務(wù)在容器云中的擴展速度;而在負載降低的場景下,本文提出的模型保證了服務(wù)收縮的操作和Docker swarm框架中的服務(wù)收縮操作一樣高效;在對服務(wù)的實例規(guī)模進行調(diào)整的過程中,服務(wù)的樣本規(guī)模始終保證滿足設(shè)定的副本數(shù)目標。從所有的實驗結(jié)果可以看出本文提出的模型在負載變化的環(huán)境下可以提升容器云對變化負載的應(yīng)對能力和服務(wù)調(diào)整的靈活性。
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP302
【圖文】：

Fig 5 1 The load trend of 98’ World Cup Site5.2 資源使用狀態(tài)預測模塊有效性驗證由圖5 1中可以看出，流量的變化主要和比賽日時間有關(guān)，諸如工作日等日常的時間標志對流量變化的影響很小。比賽日之間的流量變化模式比較近似，而且在若干時間段內(nèi)存在流量急速增加和迅速降低的場景。除此之外，通過對原始數(shù)據(jù)的分析，我們還發(fā)現(xiàn)每天不同時間段流量的變化基本是相似的。98 年世界杯網(wǎng)站的數(shù)據(jù)集包括了從1998 年 4 月 30 日到 1998 年 7 月 26 日之間網(wǎng)站的歷史訪問記錄，而 1998 年世界杯的比賽日程為 1998 年 6 月 10 日到 1998 年 7 月 12 日。我們從整個樣本集中選取了 6 月16 日到 7 月 9 日之間世界杯網(wǎng)站的部分流量數(shù)據(jù)記錄作為本次實驗的預測評估數(shù)據(jù)集，分別利用基于整合移動平均自回歸模型的預測算法和基于長短期記憶模型的預測算法在相應(yīng)數(shù)據(jù)上進行預測，并給出相應(yīng)的預測結(jié)果評估。5.2.1 基于整合移動平均自回歸模型的預測實驗在整合移動平均自回歸模型模型的預測算法中，我們維護了一個 4 天的時間窗口。由于整合移動平均自回歸模型的預測計算量隨著時間窗口的增加而增加

器的主動式云負載均衡技術(shù) 上海交通大學碩士學位論文果如圖5 2所示：(a) 6 月 18 日到 6 月 19 日 (b) 6 月 24 日(c) 7 月 8 日到 7 月 9 日 (d) 7 月 11 日到 7 月 13 日圖 5 2 基于整合移動平均自回歸模型的預測結(jié)果Fig 5 2 The load prediction of ARIMA表5 2從預測正確率、預測偏差率和預測偏方差率這三個角度顯示了基于整合移動平均自回歸模型的預測算法對四個不同時間段內(nèi)流量的實際預測結(jié)果：表 5 2 基于整合移動平均自回歸模型的預測算法評估Table 5 2 The precision of prediction for loads based on ARIMA model6.18 到 6.19 6.24 7.8 到 7.9 7.11 到 7.13預測正確率 47.9% 45.2% 48.0% 49.1%預測偏差率 3.7% 5.2% 7.0% 7.2%預測偏方差率 7.5% 10.3% 14.2% 14.4%由表5 2可知，基于整合移動平均自回歸模型的預測算法對上述四個時間段的負載預測精度大體相似，在負載波動穩(wěn)定的場景下準確率較高，但是在 7 月 8 日到 7 月 13日之間出現(xiàn)負載大幅變化的場景下，該預測算法的預測穩(wěn)定性明顯下降。整體而言，基— 42 —

然后根據(jù)訓練得出的模型預測下一個周期的資源使用量，我們選擇基于 5 月 1 日到 6 月 17 日之間的歷史數(shù)據(jù)進行訓練，并根據(jù)此次訓練所得的模型進行后續(xù)的負載預測計算。圖5 2顯示了我們利用基于長短期記憶模型的預測算法，對 6 月 18 日到 6 月 19日之間、6 月 24 日當天、7 月 8 日到 7 月 9 日之間和 7 月 11 日到 7 月 13 日期間的流量數(shù)據(jù)進行預測的結(jié)果：(a) 6 月 18 日到 6 月 19 日 (b) 6 月 24 日(c) 7 月 8 日到 7 月 9 日 (d) 7 月 11 日到 7 月 13 日圖 5 3 基于長短期記憶模型的預測結(jié)果Fig 5 3 The load prediction of LSTM表5 3從預測正確率、預測偏差率和預測偏方差率這三個角度顯示了基于長短期記憶模型的預測算法對四個不同時間段內(nèi)流量的實際預測結(jié)果：我們從表5 3中可以發(fā)現(xiàn)，基于長短期記憶模型的預測算法對 7 月 8 日到 7 月 9 日之間的負載數(shù)據(jù)在預測正確率上出現(xiàn)了明顯抖動。這主要是由于 7 月 8 日當天的負載驟— 43 —

【相似文獻】

相關(guān)期刊論文 前10條

1 張鵬;;負載均衡技術(shù)的分類及應(yīng)用研究[J];科技創(chuàng)新與應(yīng)用;2016年16期

2 龍佳琴;;負載均衡技術(shù)在企業(yè)中的應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2014年06期

3 梅琨;余慧;;應(yīng)用負載均衡技術(shù)原理與實現(xiàn)[J];電腦與電信;2014年06期

4 張維;;淺析負載均衡技術(shù)[J];計算機光盤軟件與應(yīng)用;2012年06期

5 毛正標;楊順韜;;容錯與負載均衡技術(shù)應(yīng)用的研究[J];廣西師范學院學報(自然科學版);2010年03期

6 李坤;王百杰;;服務(wù)器集群負載均衡技術(shù)研究及算法比較[J];計算機與現(xiàn)代化;2009年08期

7 蔣鴻城;洪建光;謝知寒;;業(yè)務(wù)需求驅(qū)動下的負載均衡技術(shù)研究與應(yīng)用[J];電力信息化;2008年S1期

8 封鐸;;鏈路負載均衡技術(shù)及其在電信網(wǎng)絡(luò)中的應(yīng)用[J];電信工程技術(shù)與標準化;2008年11期

9 劉學輝;;關(guān)于負載均衡技術(shù)的研究[J];科技資訊;2007年12期

10 王俊飛;;全局負載均衡技術(shù)在互聯(lián)網(wǎng)中的實現(xiàn)[J];廣東科技;2007年05期

相關(guān)會議論文 前10條

1 周斌;趙新建;周玉宏;;基于負載均衡技術(shù)的高速防火墻設(shè)計與實現(xiàn)[A];2007年全國微波毫米波會議論文集（下冊）[C];2007年

2 賈成強;孫玫肖;;負載均衡技術(shù)及其在客票系統(tǒng)5．0版中的應(yīng)用[A];中國鐵路客票發(fā)售和預訂系統(tǒng)5.0版應(yīng)用研討會論文集[C];2006年

3 賈波;張集祥;;基于Distributed binning策略的CDN負載均衡技術(shù)[A];中國通信學會第五屆學術(shù)年會論文集[C];2008年

4 柯怡;林宇;金躍輝;程時端;;GNP算法與基于GNP的全局負載均衡技術(shù)[A];第九屆全國青年通信學術(shù)會議論文集[C];2004年

5 于志波;袁野;;負載均衡技術(shù)在山東黃河網(wǎng)絡(luò)管理中的研究與應(yīng)用[A];2019（第七屆）中國水利信息化技術(shù)論壇論文集[C];2019年

6 錢雯s

本文編號：2788423