Kubernetes資源預(yù)測(cè)的關(guān)鍵理論和方法研究
發(fā)布時(shí)間:2021-10-23 11:57
由于容器具有靈活、高效和快速的特性,已逐漸取代了原有的虛擬機(jī)被業(yè)界認(rèn)可,成為個(gè)人或企業(yè)用戶的首選。目前,越來越多的應(yīng)用程序被部署在容器中。準(zhǔn)確預(yù)測(cè)容器的資源、負(fù)載可以實(shí)現(xiàn)資源靈活性調(diào)度,使容器集群能夠提前響應(yīng)部署在集群上的應(yīng)用程序的資源使用情況,從而實(shí)現(xiàn)準(zhǔn)確、動(dòng)態(tài)地調(diào)度和分配資源,這不僅可以確保應(yīng)用程序的服務(wù)水平協(xié)議,還可以提高容器云的資源利用率。但是,因?yàn)槿萜髫?fù)載會(huì)在較小的時(shí)間范圍內(nèi)急劇波動(dòng),想要準(zhǔn)確地預(yù)測(cè)容器負(fù)載仍然是一個(gè)巨大的挑戰(zhàn)。此外,容器指標(biāo)非常多,而且很難提前預(yù)知哪些指標(biāo)是有用的。為了應(yīng)對(duì)這些挑戰(zhàn),本文著重從兩個(gè)方面研究了Kubernetes中的資源預(yù)測(cè)問題。一方面,為了實(shí)現(xiàn)Kubernetes集群能夠?qū)Σ渴鹪诩荷系膽?yīng)用程序的資源需求預(yù)先響應(yīng),并根據(jù)未來一段時(shí)間內(nèi)的資源使用情況動(dòng)態(tài)地調(diào)度和分配資源,提出了一個(gè)ES-TCN組合預(yù)測(cè)模型,該組合預(yù)測(cè)模型結(jié)合了三次指數(shù)平滑法和時(shí)間卷積網(wǎng)絡(luò)各自的優(yōu)勢(shì),以解決Kubernetes的資源使用量預(yù)測(cè)問題。利用TPOT思想來優(yōu)化時(shí)間卷積網(wǎng)絡(luò)模型的參數(shù)組合,在保證了模型的性能的同時(shí)大大減少了模型的訓(xùn)練時(shí)間。同時(shí),根據(jù)Kubernetes的資...
【文章來源】:桂林理工大學(xué)廣西壯族自治區(qū)
【文章頁數(shù)】:74 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云計(jì)算發(fā)展歷程
桂林理工大學(xué)碩士學(xué)位論文11命令行界面),就是在與集群的Master主節(jié)點(diǎn)通信。另一類是Node工作節(jié)點(diǎn),一個(gè)集群中Node工作節(jié)點(diǎn)可以有多個(gè),在這些Node工作節(jié)點(diǎn)上運(yùn)行著kubelet、kube-proxy等一系列負(fù)責(zé)管理Pod的Kubernetes的服務(wù)進(jìn)程。Kubernetes系統(tǒng)架構(gòu)圖如圖2.1所示。圖2.1Kubernetes系統(tǒng)架構(gòu)圖接下來對(duì)圖中各個(gè)組件分別進(jìn)行介紹:(1)ETCD:ETCD除了具備存儲(chǔ)所有Kubernetes的集群狀態(tài)的功能,還有事件監(jiān)聽和訂閱、Leader選舉的功能。事件監(jiān)聽和訂閱以及其他各個(gè)組件之間的通信,并不是互相調(diào)用API來完成的,而是某一組件把狀態(tài)寫入ETCD(相當(dāng)于寫入一個(gè)消息)中,其他組件通過監(jiān)聽ETCD狀態(tài)的變化(相當(dāng)于訂閱消息),做后續(xù)的處理,并把更新后的數(shù)據(jù)重新寫入ETCD。Leader選舉是指其他一些組件(比如Scheduler)為了實(shí)現(xiàn)高可用,通過ETCD從多個(gè)(通常是3個(gè))實(shí)例里面選舉出來一個(gè)做Master主節(jié)點(diǎn),其他的實(shí)例都是Standby。
桂林理工大學(xué)碩士學(xué)位論文13(5)Kubelet監(jiān)聽到當(dāng)前的節(jié)點(diǎn)被指定了新的Pod后就根據(jù)對(duì)象信息運(yùn)行Pod。Kubernetes完整的工作流程如圖2.2所示。圖2.2Kubernetes工作流程圖2.1.3Kubernetes集群監(jiān)控在Kubernetes中,監(jiān)控屬于生態(tài)的一部分,并不是核心組件,監(jiān)控所具有的大部分的能力依賴上層的云廠商的適配。Kubernetes定義了組件接入的接口標(biāo)準(zhǔn)和規(guī)范,任何符合接口標(biāo)準(zhǔn)和規(guī)范的組件都可以快速集成到Kubernetes中。Kubernetes通過APIServerAggregatedAPI注冊(cè)了三種不同的metrics接口,將監(jiān)控的消費(fèi)能力進(jìn)行標(biāo)準(zhǔn)化和解耦,從而實(shí)現(xiàn)了與社區(qū)的融合。Kubernetes的監(jiān)控接口標(biāo)準(zhǔn)如表2.1所示。表2.1Kubernetes的監(jiān)控接口標(biāo)準(zhǔn)API注釋ResourceMetricsmetrics.k8s.io主要的實(shí)現(xiàn)為Metrics-Server,提供資源監(jiān)控CustomMetricscustom.metrics.k8s.io主要的實(shí)現(xiàn)為Prometheus,提供資源監(jiān)控和自定義監(jiān)控ExternalMetricsexternal.metrics.k8s.io主要的實(shí)現(xiàn)為云廠商的Provider,提供云資源的監(jiān)控指標(biāo)
【參考文獻(xiàn)】:
期刊論文
[1]基于Kubernetes負(fù)載特征的資源預(yù)測(cè)模型研究[J]. 謝文舟,孫艷霞. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(04)
[2]基于Docker的虛擬化技術(shù)研究[J]. 郭甲戌,胡曉勤. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(10)
[3]云計(jì)算虛擬化技術(shù)的發(fā)展與趨勢(shì)[J]. 武志學(xué). 計(jì)算機(jī)應(yīng)用. 2017(04)
[4]基于Docker的PaaS平臺(tái)建設(shè)[J]. 王亞玲,李春陽,崔蔚,張晶. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(03)
[5]改進(jìn)GWO優(yōu)化SVM的云計(jì)算資源負(fù)載短期預(yù)測(cè)研究[J]. 徐達(dá)宇,丁帥. 計(jì)算機(jī)工程與應(yīng)用. 2017(07)
[6]基于容器虛擬化技術(shù)研究[J]. 汪愷,張功萱,周秀敏. 計(jì)算機(jī)技術(shù)與發(fā)展. 2015(08)
[7]A mixture of HMM,GA,and Elman network for load prediction in cloud-oriented data centers[J]. Da-yu XU,Shan-lin YANG,Ren-ping LIU. Journal of Zhejiang University-Science C(Computers and Electronics). 2013(11)
博士論文
[1]基于機(jī)器學(xué)習(xí)的時(shí)間序列預(yù)測(cè)方法研究與應(yīng)用[D]. 陳艷華.蘭州大學(xué) 2017
碩士論文
[1]基于Kubernetes的資源調(diào)度器優(yōu)化策略研究[D]. 平凡.西安郵電大學(xué) 2019
[2]基于Kubernetes容器集群資源調(diào)度策略研究[D]. 馬希琳.西安科技大學(xué) 2019
[3]基于Kubernetes的資源調(diào)度與監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 宋霖.北京郵電大學(xué) 2019
[4]基于Kubernetes的調(diào)度方案研究與設(shè)計(jì)[D]. 李思達(dá).東南大學(xué) 2018
[5]基于Kubernetes的容器自動(dòng)伸縮技術(shù)的研究[D]. 楊茂.西安郵電大學(xué) 2018
[6]基于Kubernetes的容器云平臺(tái)資源調(diào)度策略研究[D]. 唐瑞.電子科技大學(xué) 2017
[7]基于蟻群算法及時(shí)間序列預(yù)測(cè)模型的云計(jì)算資源調(diào)度策略[D]. 王勝男.重慶大學(xué) 2017
[8]容器云平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 徐江生.北京郵電大學(xué) 2017
[9]基于Docker的資源預(yù)調(diào)度策略構(gòu)建彈性集群的研究[D]. 何松林.浙江理工大學(xué) 2017
本文編號(hào):3453146
【文章來源】:桂林理工大學(xué)廣西壯族自治區(qū)
【文章頁數(shù)】:74 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云計(jì)算發(fā)展歷程
桂林理工大學(xué)碩士學(xué)位論文11命令行界面),就是在與集群的Master主節(jié)點(diǎn)通信。另一類是Node工作節(jié)點(diǎn),一個(gè)集群中Node工作節(jié)點(diǎn)可以有多個(gè),在這些Node工作節(jié)點(diǎn)上運(yùn)行著kubelet、kube-proxy等一系列負(fù)責(zé)管理Pod的Kubernetes的服務(wù)進(jìn)程。Kubernetes系統(tǒng)架構(gòu)圖如圖2.1所示。圖2.1Kubernetes系統(tǒng)架構(gòu)圖接下來對(duì)圖中各個(gè)組件分別進(jìn)行介紹:(1)ETCD:ETCD除了具備存儲(chǔ)所有Kubernetes的集群狀態(tài)的功能,還有事件監(jiān)聽和訂閱、Leader選舉的功能。事件監(jiān)聽和訂閱以及其他各個(gè)組件之間的通信,并不是互相調(diào)用API來完成的,而是某一組件把狀態(tài)寫入ETCD(相當(dāng)于寫入一個(gè)消息)中,其他組件通過監(jiān)聽ETCD狀態(tài)的變化(相當(dāng)于訂閱消息),做后續(xù)的處理,并把更新后的數(shù)據(jù)重新寫入ETCD。Leader選舉是指其他一些組件(比如Scheduler)為了實(shí)現(xiàn)高可用,通過ETCD從多個(gè)(通常是3個(gè))實(shí)例里面選舉出來一個(gè)做Master主節(jié)點(diǎn),其他的實(shí)例都是Standby。
桂林理工大學(xué)碩士學(xué)位論文13(5)Kubelet監(jiān)聽到當(dāng)前的節(jié)點(diǎn)被指定了新的Pod后就根據(jù)對(duì)象信息運(yùn)行Pod。Kubernetes完整的工作流程如圖2.2所示。圖2.2Kubernetes工作流程圖2.1.3Kubernetes集群監(jiān)控在Kubernetes中,監(jiān)控屬于生態(tài)的一部分,并不是核心組件,監(jiān)控所具有的大部分的能力依賴上層的云廠商的適配。Kubernetes定義了組件接入的接口標(biāo)準(zhǔn)和規(guī)范,任何符合接口標(biāo)準(zhǔn)和規(guī)范的組件都可以快速集成到Kubernetes中。Kubernetes通過APIServerAggregatedAPI注冊(cè)了三種不同的metrics接口,將監(jiān)控的消費(fèi)能力進(jìn)行標(biāo)準(zhǔn)化和解耦,從而實(shí)現(xiàn)了與社區(qū)的融合。Kubernetes的監(jiān)控接口標(biāo)準(zhǔn)如表2.1所示。表2.1Kubernetes的監(jiān)控接口標(biāo)準(zhǔn)API注釋ResourceMetricsmetrics.k8s.io主要的實(shí)現(xiàn)為Metrics-Server,提供資源監(jiān)控CustomMetricscustom.metrics.k8s.io主要的實(shí)現(xiàn)為Prometheus,提供資源監(jiān)控和自定義監(jiān)控ExternalMetricsexternal.metrics.k8s.io主要的實(shí)現(xiàn)為云廠商的Provider,提供云資源的監(jiān)控指標(biāo)
【參考文獻(xiàn)】:
期刊論文
[1]基于Kubernetes負(fù)載特征的資源預(yù)測(cè)模型研究[J]. 謝文舟,孫艷霞. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(04)
[2]基于Docker的虛擬化技術(shù)研究[J]. 郭甲戌,胡曉勤. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(10)
[3]云計(jì)算虛擬化技術(shù)的發(fā)展與趨勢(shì)[J]. 武志學(xué). 計(jì)算機(jī)應(yīng)用. 2017(04)
[4]基于Docker的PaaS平臺(tái)建設(shè)[J]. 王亞玲,李春陽,崔蔚,張晶. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(03)
[5]改進(jìn)GWO優(yōu)化SVM的云計(jì)算資源負(fù)載短期預(yù)測(cè)研究[J]. 徐達(dá)宇,丁帥. 計(jì)算機(jī)工程與應(yīng)用. 2017(07)
[6]基于容器虛擬化技術(shù)研究[J]. 汪愷,張功萱,周秀敏. 計(jì)算機(jī)技術(shù)與發(fā)展. 2015(08)
[7]A mixture of HMM,GA,and Elman network for load prediction in cloud-oriented data centers[J]. Da-yu XU,Shan-lin YANG,Ren-ping LIU. Journal of Zhejiang University-Science C(Computers and Electronics). 2013(11)
博士論文
[1]基于機(jī)器學(xué)習(xí)的時(shí)間序列預(yù)測(cè)方法研究與應(yīng)用[D]. 陳艷華.蘭州大學(xué) 2017
碩士論文
[1]基于Kubernetes的資源調(diào)度器優(yōu)化策略研究[D]. 平凡.西安郵電大學(xué) 2019
[2]基于Kubernetes容器集群資源調(diào)度策略研究[D]. 馬希琳.西安科技大學(xué) 2019
[3]基于Kubernetes的資源調(diào)度與監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 宋霖.北京郵電大學(xué) 2019
[4]基于Kubernetes的調(diào)度方案研究與設(shè)計(jì)[D]. 李思達(dá).東南大學(xué) 2018
[5]基于Kubernetes的容器自動(dòng)伸縮技術(shù)的研究[D]. 楊茂.西安郵電大學(xué) 2018
[6]基于Kubernetes的容器云平臺(tái)資源調(diào)度策略研究[D]. 唐瑞.電子科技大學(xué) 2017
[7]基于蟻群算法及時(shí)間序列預(yù)測(cè)模型的云計(jì)算資源調(diào)度策略[D]. 王勝男.重慶大學(xué) 2017
[8]容器云平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 徐江生.北京郵電大學(xué) 2017
[9]基于Docker的資源預(yù)調(diào)度策略構(gòu)建彈性集群的研究[D]. 何松林.浙江理工大學(xué) 2017
本文編號(hào):3453146
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3453146.html
最近更新
教材專著