本文關(guān)鍵詞：基于Docker的資源預(yù)調(diào)度策略構(gòu)建彈性集群的研究　出處：《浙江理工大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： Docker 云計(jì)算 虛擬化 彈性集群 自動(dòng)伸縮 性能監(jiān)控 資源調(diào)度

【摘要】：在實(shí)際環(huán)境中,服務(wù)器會(huì)經(jīng)常出現(xiàn)不可預(yù)知的負(fù)載需求,特別是像天貓雙11等活動(dòng)每年都在刷新交易記錄,大量的訂單交易背后是突增的巨大用戶訪問(wèn)量,此時(shí)需要快速增加集群中服務(wù)器的數(shù)量來(lái)應(yīng)對(duì)額外負(fù)載,同時(shí)在流量下降時(shí),需要停止空閑服務(wù)器以降低成本。因此構(gòu)建彈性集群,實(shí)現(xiàn)集群服務(wù)器數(shù)量的自動(dòng)伸縮顯得尤為重要。彈性伸縮是云計(jì)算中的一個(gè)重要功能,而虛擬化技術(shù)是支撐云計(jì)算的重要技術(shù)基石,虛擬化的程度不同決定了云平臺(tái)的架構(gòu),Docker容器技術(shù)作為操作系統(tǒng)級(jí)的虛擬化為云平臺(tái)的架構(gòu)提出了新思路,它是基于進(jìn)程級(jí)隔離的,相較于目前大多數(shù)基于虛擬機(jī)技術(shù)的云平臺(tái)而言,移除了客戶操作系統(tǒng)層,能夠提供更快的啟停速度和更優(yōu)的資源利用率。本文研究使用Docker容器技術(shù)作為底層云平臺(tái)虛擬化技術(shù),通過(guò)對(duì)集群性能的實(shí)時(shí)監(jiān)控及資源的合理調(diào)度,構(gòu)建彈性集群,應(yīng)對(duì)不可預(yù)知的負(fù)載需求,保證云服務(wù)平臺(tái)低成本、高效、穩(wěn)定的運(yùn)營(yíng),大大提高云平臺(tái)的資源利用率,更加有效的應(yīng)對(duì)網(wǎng)絡(luò)峰值,提供高吞吐率和低延遲的服務(wù)。為此,本文實(shí)現(xiàn)了以下內(nèi)容:(1)解決構(gòu)建容器集群的兩個(gè)主要問(wèn)題:跨主機(jī)容器通信和文件共享。針對(duì)前者提出了三種解決方案:OVS+GRE、Flannel、直接路由,針對(duì)后者提出了構(gòu)建鏡像倉(cāng)庫(kù)解決鏡像共享問(wèn)題,結(jié)合DRBD構(gòu)建多節(jié)點(diǎn)NFS網(wǎng)絡(luò)文件系統(tǒng)解決數(shù)據(jù)持久化存儲(chǔ)問(wèn)題,為彈性集群提供實(shí)踐環(huán)境。(2)實(shí)現(xiàn)了Docker彈性集群性能監(jiān)控�；贠penTSDB和Docker容器技術(shù)實(shí)現(xiàn)了對(duì)容器及集群節(jié)點(diǎn)的性能數(shù)據(jù)的采集、存儲(chǔ)、分組聚合及展示,也為構(gòu)建彈性集群中彈性伸縮組的觸發(fā)機(jī)制提供了判定條件。(3)構(gòu)建彈性伸縮組。使用Haproxy提供負(fù)載均衡服務(wù)、Consul提供彈性伸縮組的服務(wù)自動(dòng)發(fā)現(xiàn)機(jī)制、Confd定期獲取Consul中的服務(wù)信息并動(dòng)態(tài)生成Haproxy配置文件。(4)研究并實(shí)現(xiàn)了多種資源調(diào)度策略。首先是構(gòu)建彈性集群過(guò)程中的基于資源使用量的資源調(diào)度策略,然后為解決集群資源使用量不均勻問(wèn)題實(shí)現(xiàn)了宿主機(jī)調(diào)度策略,最后實(shí)現(xiàn)了基于LMS算法的負(fù)載預(yù)測(cè)調(diào)度策略。(5)構(gòu)建Docker彈性集群并對(duì)系統(tǒng)進(jìn)行了測(cè)試,驗(yàn)證了彈性集群的有效性和可行性。
[Abstract]:In the actual environment, the server will often load demand unpredictable, especially as Tmall double 11 every year to refresh the record of the transaction, the transaction is huge orders a lot behind the sudden increase in user traffic, the rapid increase in the number of servers in the cluster to cope with the additional load, while the flow down the need to stop the server idle, to reduce the cost. So the construction of automatic telescopic elastic cluster, cluster server number is very important. Flexibility is an important function in cloud computing, and virtualization technology is an important technical support for the cornerstone of cloud computing, virtualization degree determines the cloud platform architecture, Docker container as the operating system level virtualization to cloud platform architecture and put forward new ideas, it is based on the isolation process level, compared to the most current based on virtual machine technology The cloud platform, remove the client operating system layer, can provide a faster start stop speed and better resource utilization. This paper use the Docker container virtualization platform as cloud bottom, through reasonable scheduling of real-time monitoring of the cluster performance and resources, construction of flexible cluster, cope with the unpredictable load demand the guarantee of cloud service platform with low cost, high efficiency, stable operation, greatly improve the utilization rate of resources in a cloud, with peak network more effectively, provide high throughput and low delay services. Therefore, this paper is as follows: (1) to solve two major problems in construction of container cluster: cross host container communication and file sharing. For the former put forward three kinds of solutions: OVS+GRE, Flannel, direct route, for the latter is proposed to solve the problem of mirror image share warehouse, combined with the construction of DRBD multi node NFS The network file system to solve data storage problems, provide a practical environment for elastic clusters. (2) the Docker elastic cluster performance monitoring. OpenTSDB and Docker container storage technology to achieve the performance data of the container and the cluster nodes acquisition based on packet aggregation and display, but also provides conditions for construction of flexible trigger mechanism telescopic group of elastic in the cluster. (3) to construct flexible group. The use of Haproxy to provide load balancing services, Consul provides a flexible set of automatic service discovery mechanism, Confd regular Consul to obtain the service information and dynamically generate the Haproxy configuration file. (4) the research and implementation of multi resource scheduling strategy. The first is to build a resource the use of resource scheduling strategy based on the amount of flexibility in the process of cluster, and then to solve the problem of cluster resources usage is not uniform implementation of the host scheduling strategy, finally realized The load forecasting and scheduling strategy based on LMS algorithm. (5) constructing Docker elastic cluster and testing the system to verify the effectiveness and feasibility of the elastic cluster.

【學(xué)位授予單位】：浙江理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.09;TP368.5

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王];鄭樹(shù)琴;;調(diào)度策略在并行機(jī)調(diào)度仿真的應(yīng)用[J];機(jī)械管理開(kāi)發(fā);2013年01期

2 王浩,鐘玉琢;一種新的基于流合并的調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2001年03期

3 張麗曉,袁立強(qiáng),徐煒民;基于任務(wù)類型的集群調(diào)度策略[J];計(jì)算機(jī)工程;2004年13期

4 寧凝;錢(qián)省三;孟志雷;;帶有工藝約束的并行多機(jī)調(diào)度策略[J];工業(yè)工程;2008年02期

5 劉宴兵;李秉智;幸云輝;;寬帶路由器輸入排隊(duì)調(diào)度策略的綜合研究[J];計(jì)算機(jī)科學(xué);2002年03期

6 楊祥茂;譚曦;;基于網(wǎng)絡(luò)資源消費(fèi)者模型的調(diào)度策略[J];計(jì)算機(jī)科學(xué);2003年09期

7 黃敏;姚正林;劉金剛;;網(wǎng)絡(luò)QoS調(diào)度策略的分析與研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年29期

8 方泳;袁召云;;環(huán)行穿梭車(chē)調(diào)度策略的仿真研究[J];物流技術(shù)與應(yīng)用;2012年04期

9 胡敏,陶洋;基于網(wǎng)絡(luò)配置管理的調(diào)度策略分析[J];數(shù)字通信;1999年04期

10 王振凱,劉斌,徐光yP;核心無(wú)狀態(tài)虛擬時(shí)鐘調(diào)度策略[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年01期

相關(guān)會(huì)議論文 前10條

1 胡子敬;李紅燕;;一種資源共享情況下的連續(xù)查詢算子調(diào)度策略[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 林志紅;;照口水電廠優(yōu)化調(diào)度策略的分析[A];福建省科學(xué)技術(shù)協(xié)會(huì)第八屆學(xué)術(shù)年會(huì)分會(huì)場(chǎng)——提高水電站水庫(kù)調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會(huì)論文集[C];2008年

3 黃錦濤;何加銘;陳平;賈德祥;;基于移動(dòng)中間件抽象層調(diào)度策略研究[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大規(guī)模單機(jī)靜態(tài)調(diào)度的終端約束滾動(dòng)策略[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

5 趙千川;鄭大鐘;;一類HDS的事件反饋型最優(yōu)調(diào)度策略[A];1996年中國(guó)控制會(huì)議論文集[C];1996年

6 趙千川;鄭大鐘;;CLB調(diào)度策略的性能估計(jì)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

7 方劍;席裕庚;;動(dòng)態(tài)環(huán)境下的Job Shop周期性滾動(dòng)調(diào)度策略[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

8 淡圖南;朱立平;顏紀(jì)迅;;一種基于時(shí)間觸發(fā)的安全關(guān)鍵操作系統(tǒng)混合調(diào)度策略[A];全面建成小康社會(huì)與中國(guó)航空發(fā)展——2013首屆中國(guó)航空科學(xué)技術(shù)大會(huì)論文集[C];2013年

9 郭紅星;彭嘉麗;盛濤;田婷;張愛(ài)華;;無(wú)線多用戶視頻流中支持內(nèi)容感知的包調(diào)度策略[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2008年

10 李茂增;王丹;杜東明;;一種數(shù)據(jù)流查詢操作符的調(diào)度策略[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

相關(guān)重要報(bào)紙文章 前1條

1 戈;國(guó)華集群負(fù)載優(yōu)化系統(tǒng)具備八項(xiàng)功能[N];電腦商報(bào);2007年

相關(guān)博士學(xué)位論文 前8條

1 周瀏陽(yáng);網(wǎng)絡(luò)控制系統(tǒng)中調(diào)度策略的設(shè)計(jì)與延時(shí)的處理[D];哈爾濱工業(yè)大學(xué);2015年

2 Rabee Furkan Hassan Saleh;[D];電子科技大學(xué);2015年

3 張曄;基于模塊的調(diào)度策略及其對(duì)多處理器系統(tǒng)的支持[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

4 曾碧卿;分布式計(jì)算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

5 何忠賀;切換服務(wù)網(wǎng)絡(luò)的穩(wěn)定性及交通信號(hào)控制應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 王文樂(lè);基于替代/補(bǔ)償?shù)膶?shí)時(shí)事務(wù)處理策略研究[D];江西財(cái)經(jīng)大學(xué);2013年

7 王書(shū)舉;車(chē)輛控制系統(tǒng)局域網(wǎng)絡(luò)（CAN）調(diào)度策略研究[D];東北大學(xué);2011年

8 張金藝;可重構(gòu)SoC DFT架構(gòu)與TLB測(cè)試調(diào)度策略研究[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 丁富淮;嵌入式Linux系統(tǒng)的二級(jí)調(diào)度策略優(yōu)化技術(shù)及應(yīng)用[D];蘇州大學(xué);2015年

2 成先鏡;公共自行車(chē)兩階段調(diào)度策略與模型及求解方法研究[D];南京師范大學(xué);2015年

3 趙金濤;虛擬單元制造中考慮隨機(jī)擾動(dòng)的多級(jí)動(dòng)態(tài)穩(wěn)健調(diào)度策略研究[D];江蘇科技大學(xué);2015年

4 張晏;OpenStack的拓?fù)淇梢暬O(jiān)控技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 殷洪海;云環(huán)境下基于改進(jìn)蟻群算法的資源調(diào)度策略[D];電子科技大學(xué);2014年

6 王潤(rùn)澤;CPU與GPU混合虛擬化資源高效調(diào)度策略[D];上海交通大學(xué);2015年

7 童毅;基于MapReduce模型的云平臺(tái)調(diào)度策略優(yōu)化研究[D];南京郵電大學(xué);2015年

8 蘇孝明;考慮大規(guī)模間歇性能源接入的調(diào)度策略研究[D];華北電力大學(xué);2015年

9 薛娜;復(fù)合加權(quán)調(diào)度算法在IaaS層中的穩(wěn)定性優(yōu)化研究[D];昆明理工大學(xué);2016年

10 韓宇龍;云環(huán)境下分級(jí)負(fù)載均衡調(diào)度策略的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

，

本文編號(hào)：1370458