云平臺的資源監(jiān)控與彈性伸縮技術(shù)研究與實現(xiàn)
本文選題:云監(jiān)控系統(tǒng) + 推拉混合模式。 參考:《北京郵電大學(xué)》2017年碩士論文
【摘要】:云計算的快速發(fā)展?jié)M足了大規(guī)模計算、海量數(shù)據(jù)存儲的要求。對于云平臺來說資源繁多、情況復(fù)雜,有必要利用監(jiān)控系統(tǒng)監(jiān)測整個平臺運(yùn)行狀況、資源使用情況。為了實現(xiàn)云計算資源的高效利用,彈性伸縮服務(wù)也成為不可或缺的一部分。良好的監(jiān)控系統(tǒng)可以方便用戶對云資源的合理調(diào)度,也為發(fā)現(xiàn)故障原因提供數(shù)據(jù)支持。本文針對目前云市場已經(jīng)實現(xiàn)的監(jiān)控系統(tǒng)不足之處進(jìn)行了研究,設(shè)計了 WEB界面、兩級數(shù)據(jù)庫存儲、及時報警多位一體的高內(nèi)聚、低耦合的架構(gòu)。在提高監(jiān)控系統(tǒng)效率方面,本文從數(shù)據(jù)的產(chǎn)生、傳送出發(fā)分別提出利用/proc文件系統(tǒng)進(jìn)行數(shù)據(jù)采集、利用推拉混合模式進(jìn)行數(shù)據(jù)傳輸。在提高監(jiān)控系統(tǒng)可靠方面,本文設(shè)計和實現(xiàn)了故障監(jiān)測、日志分析、通知報警組成的故障處理子系統(tǒng),并引用一主多從的高可用數(shù)據(jù)存儲模型進(jìn)行數(shù)據(jù)持久化保障。當(dāng)前云市場的彈性伸縮服務(wù)在進(jìn)行資源再分配的時候大都需要強(qiáng)制暫停用戶的應(yīng)用任務(wù),給用戶帶來比較差的體驗感。針對上述問題,本文提出基于負(fù)載預(yù)測的動態(tài)彈性伸縮模型,在不影響用戶使用的情況下提高了資源利用率、降低了云平臺的資源投入成本。這個模型分為兩部分,第一部分是負(fù)載預(yù)測,根據(jù)負(fù)載歷史數(shù)據(jù)的相似性和周期性,運(yùn)用線性回歸和負(fù)載數(shù)字串匹配兩種性能互補(bǔ)的算法預(yù)測下一時刻負(fù)載需求量;第二部分是彈性伸縮,在滿足資源伸縮需求的前提,利用整數(shù)規(guī)劃的算法求解出成本最小的水平伸縮量和垂直伸縮量,并進(jìn)行相應(yīng)的資源擴(kuò)展和釋放。為了驗證監(jiān)控系統(tǒng)的高效性、可靠性,本文對設(shè)計方案進(jìn)行了實現(xiàn)和應(yīng)用,對推拉混合模式進(jìn)行了實驗和分析。為了證明基于負(fù)載預(yù)測彈性伸縮模型的優(yōu)越性,本文做了相應(yīng)的對比實驗,表明本文負(fù)載預(yù)測的平均誤差為8%,比自回歸滑動平均模型指數(shù)平滑模型都低,本文伸縮方法比水平伸縮方法節(jié)省成本5.88%,降低了資源使用成本。
[Abstract]:The rapid development of cloud computing meets the requirements of large-scale computing and massive data storage. For the cloud platform, there are many resources and complex situations, so it is necessary to monitor the whole platform running condition and resource usage by using the monitoring system. In order to achieve the efficient use of cloud computing resources, flexible expansion services have become an indispensable part. A good monitoring system can facilitate users to reasonably schedule cloud resources and provide data support for fault detection. In this paper, the shortcomings of the monitoring system which has been realized in the cloud market have been studied, and a Web interface, two-level database storage, high cohesion and low coupling architecture with timely warning and multi-bit integration have been designed. In order to improve the efficiency of the monitoring system, this paper proposes to collect the data by using the Proc file system and to transmit the data using the push-pull mixed mode from the point of view of the data generation and transmission. In order to improve the reliability of the monitoring system, this paper designs and implements a fault processing subsystem composed of fault monitoring, log analysis, notification and alarm, and uses a high availability data storage model of master, multi-slave to ensure data persistence. At present, the flexible expansion service in cloud market needs to force users to suspend their application tasks when redistributing resources, which brings users a relatively poor sense of experience. To solve the above problems, a dynamic elastic expansion model based on load prediction is proposed in this paper, which improves the resource utilization and reduces the cost of resource input of cloud platform without affecting the user's use. The model is divided into two parts. The first part is load forecasting. According to the similarity and periodicity of load historical data, two complementary algorithms of linear regression and load digital string matching are used to predict the load demand at the next moment. The second part is elastic expansion. In order to meet the requirement of resource expansion, we use integer programming algorithm to solve the minimum cost of horizontal expansion and vertical expansion, and carry out the corresponding resource expansion and release. In order to verify the high efficiency and reliability of the monitoring system, the design scheme is implemented and applied, and the push-pull mixed mode is tested and analyzed. In order to prove the superiority of elastic expansion model based on load prediction, a comparative experiment is made in this paper, which shows that the average error of load prediction in this paper is 8, which is lower than the exponential smoothing model of autoregressive sliding average model. In this paper, the expansion method than horizontal expansion method cost savings 5.88, reducing the cost of the use of resources.
【學(xué)位授予單位】:北京郵電大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2017
【分類號】:TP393.09
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 張曉云;礦倉監(jiān)控系統(tǒng)[J];礦業(yè)快報;2001年14期
2 李陽,王應(yīng)雪;基于網(wǎng)絡(luò)的監(jiān)控系統(tǒng)的建設(shè)[J];微電腦世界;2003年01期
3 史賀男,梁曉春;靜脈輸液結(jié)束呼叫監(jiān)控系統(tǒng)設(shè)計[J];微計算機(jī)信息;2004年11期
4 張三國;監(jiān)控系統(tǒng)常見的故障現(xiàn)象及其排除方法[J];甘肅科技;2005年07期
5 李存建;;一種晝夜監(jiān)控系統(tǒng)的設(shè)計[J];中小企業(yè)科技;2007年01期
6 文俊杰;;構(gòu)建GPS監(jiān)控系統(tǒng)的技術(shù)分析[J];科技信息(學(xué)術(shù)研究);2007年23期
7 郝永偉;;安全防范監(jiān)控系統(tǒng)的設(shè)計[J];微計算機(jī)信息;2008年16期
8 Rich Hovan;石磊;;更符合規(guī)范要求的可預(yù)測排放監(jiān)控系統(tǒng)[J];軟件;2009年10期
9 朱立偉;張智勇;包左軍;龔柏巖;;公路監(jiān)控系統(tǒng)現(xiàn)行國家及交通行業(yè)標(biāo)準(zhǔn)分析[J];交通標(biāo)準(zhǔn)化;2009年19期
10 羅濤;;淺析黃延高速隧道供電監(jiān)控系統(tǒng)[J];今日科苑;2009年24期
相關(guān)會議論文 前10條
1 周秀云;;淺談監(jiān)控系統(tǒng)發(fā)展[A];第二十屆中國(天津)'2006IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學(xué)術(shù)會議論文集[C];2006年
2 周秀云;;淺談監(jiān)控系統(tǒng)發(fā)展[A];第二十屆中國(天津)’2006IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學(xué)術(shù)會議論文集[C];2006年
3 李民;;監(jiān)控系統(tǒng)在城域范圍的應(yīng)用[A];天津市電視技術(shù)研究會2009年年會論文集(1)[C];2009年
4 王崢瀛;周文;譚華;湯正陽;;三峽梯調(diào)監(jiān)控系統(tǒng)完善方案及實現(xiàn)[A];中國水力發(fā)電工程學(xué)會信息化專委會2009年學(xué)術(shù)交流會論文集[C];2009年
5 林荔;陳匯;;福建省氣象資料上行監(jiān)控系統(tǒng)[A];第28屆中國氣象學(xué)會年會——S1第四屆氣象綜合探測技術(shù)研討會[C];2011年
6 于雪龍;林則亮;吳強(qiáng);陳華;龍靖;;水利閘(站)群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[A];第六屆全國計算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年
7 楊佳;華鋼;;貨輪監(jiān)控系統(tǒng)的設(shè)計和應(yīng)用[A];第十五屆全國煤礦自動化學(xué)術(shù)年會和中國煤炭學(xué)會煤礦自動化專業(yè)委員會學(xué)術(shù)會議論文集[C];2005年
8 陳云波;;合肥電信動力監(jiān)控系統(tǒng)改進(jìn)的幾點(diǎn)構(gòu)想[A];2005年安徽通信論文集[C];2006年
9 朱曉軍;丁銘雄;李成喜;;礦友煤炭產(chǎn)量監(jiān)控系統(tǒng)的設(shè)計[A];AECC專題學(xué)術(shù)研討會論文集[C];2007年
10 薛彥波;何鳳有;呂現(xiàn)釗;王敦勝;;煤化工煤儲運(yùn)監(jiān)控系統(tǒng)研究[A];中國計量協(xié)會冶金分會2008年會論文集[C];2008年
相關(guān)重要報紙文章 前10條
1 記者 孫宜華 通訊員 譚曉平;年底前八成鄉(xiāng)鎮(zhèn)配備監(jiān)控系統(tǒng)[N];連云港日報;2007年
2 記者 楊麗英 張春亮;山西開工建設(shè)企業(yè)須安裝污染源監(jiān)控系統(tǒng)[N];中國冶金報;2007年
3 伊鳴;升級監(jiān)控系統(tǒng)減輕煤企負(fù)擔(dān)[N];中國煤炭報;2008年
4 林蔭;山西省 三級森林監(jiān)控系統(tǒng)啟用[N];中國安全生產(chǎn)報;2009年
5 趙彥東 記者 馬懷華;我市煤礦產(chǎn)量及稅費(fèi)監(jiān)控系統(tǒng)在全省推廣[N];雞西日報;2010年
6 通訊員 鐘臣彪;長汀建設(shè)校園“全球眼”監(jiān)控系統(tǒng)[N];閩西日報;2010年
7 記者 陳巖 王皓;哈爾濱聯(lián)通建設(shè)泊車監(jiān)控系統(tǒng)[N];人民郵電;2010年
8 梁健 小全;涇陽建成社會救助動態(tài)監(jiān)控系統(tǒng)[N];咸陽日報;2011年
9 江建方;危廢信息化監(jiān)控系統(tǒng)建成[N];中國環(huán)境報;2014年
10 記者 呂峰 通訊員 王天潤 雷孝民;河南南召:研發(fā)監(jiān)控系統(tǒng)拓展監(jiān)督途徑[N];檢察日報;2014年
相關(guān)博士學(xué)位論文 前6條
1 于興治;國家行政監(jiān)控系統(tǒng)的分析理論與應(yīng)用研究[D];大連理工大學(xué);2010年
2 孫鵬;云計算環(huán)境下的仿生自主監(jiān)控系統(tǒng)和多指標(biāo)均衡調(diào)度機(jī)制的研究[D];電子科技大學(xué);2017年
3 馮憲陽;基于WSN的物流車輛監(jiān)控系統(tǒng)效率優(yōu)化研究[D];大連海事大學(xué);2015年
4 常光輝;大規(guī)模分布式可信監(jiān)控系統(tǒng)研究[D];重慶大學(xué);2011年
5 王丹石;彈性光網(wǎng)絡(luò)中的信號處理關(guān)鍵技術(shù)與應(yīng)用研究[D];北京郵電大學(xué);2016年
6 王彥;大型能耗監(jiān)控系統(tǒng)通信網(wǎng)絡(luò)及控制策略研究[D];湖南大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 李濤;云平臺的資源監(jiān)控與彈性伸縮技術(shù)研究與實現(xiàn)[D];北京郵電大學(xué);2017年
2 黃向宇;基于Web技術(shù)的光伏發(fā)電監(jiān)控系統(tǒng)的研究[D];華南理工大學(xué);2015年
3 李儒;智能路燈監(jiān)控系統(tǒng)設(shè)計[D];西安石油大學(xué);2015年
4 劉合良;基于以太網(wǎng)的建筑設(shè)備一體化監(jiān)控系統(tǒng)設(shè)計與研究[D];北京建筑大學(xué);2015年
5 林楠;基于PSC的煤礦井下供電監(jiān)控系統(tǒng)研究與應(yīng)用[D];昆明理工大學(xué);2015年
6 梁國威;知識庫驅(qū)動的臨床用藥監(jiān)控系統(tǒng)研究[D];浙江大學(xué);2015年
7 徐梅;醫(yī)院輸液監(jiān)控系統(tǒng)的設(shè)計與研究[D];河北聯(lián)合大學(xué);2014年
8 李越;汽車整車物流運(yùn)輸協(xié)同監(jiān)控系統(tǒng)的研究與實現(xiàn)[D];西南交通大學(xué);2015年
9 張乾;基于Modbus TCP和WEB的監(jiān)控系統(tǒng)應(yīng)用及設(shè)計[D];長江大學(xué);2015年
10 袁延梅;基于互聯(lián)網(wǎng)和WSN的戶用光伏電站監(jiān)控系統(tǒng)[D];曲阜師范大學(xué);2015年
,本文編號:2107046
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/2107046.html