發(fā)布時(shí)間：2021-02-02 19:19

　　隨著云計(jì)算與大數(shù)據(jù)技術(shù)的的飛速發(fā)展,容器技術(shù)和Spark技術(shù)得到了廣泛的應(yīng)用,使得傳統(tǒng)的Spark部署方式顯得越來越臃腫。容器的輕量級(jí)、易隔離、開箱即用的特點(diǎn)使得開發(fā)者越來越重視將大數(shù)據(jù)技術(shù)與容器技術(shù)相結(jié)合的探索工作。因此本文提出了容器化的Spark集群資源調(diào)度優(yōu)化方案,并通過實(shí)驗(yàn)驗(yàn)證了優(yōu)化算法的有效性,本文主要包括以下三個(gè)方面內(nèi)容:1)針對(duì)傳統(tǒng)容器調(diào)度算法和主流容器編排工具調(diào)度容器時(shí)僅關(guān)注單個(gè)容器的調(diào)度指標(biāo),在應(yīng)對(duì)集群容器調(diào)度時(shí)表現(xiàn)出衡量指標(biāo)單一、負(fù)載不均衡和調(diào)度總時(shí)間過長(zhǎng)等問題。提出了OABC（Optimised Artificial Bee Colony）并行調(diào)度算法,綜合考慮了集群中各節(jié)點(diǎn)之間,以及各工作節(jié)點(diǎn)與數(shù)據(jù)源之間的關(guān)聯(lián)性。同時(shí),針對(duì)容器編排工具Kubernetes的調(diào)度模塊插件化特性,增加集群容器并行調(diào)度策略,以集群為調(diào)度的基本單元,以此實(shí)現(xiàn)縮短集群容器的整體調(diào)度時(shí)間和提高服務(wù)性能的目的。實(shí)驗(yàn)結(jié)果表明,所提出的算法能夠有效的縮短整個(gè)集群容器的構(gòu)建時(shí)間,且使得集群的整體負(fù)載更加均衡。2)將Spark集群以容器的形式部署,改變了以往直接利用宿主機(jī)資源的方式,這將導(dǎo)致Spar... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：87 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

集群各節(jié)點(diǎn)資源利用率和待調(diào)度的容器所需資源

機(jī)節(jié)點(diǎn)和三個(gè)待調(diào)度的容器資源情況，分別通過順序調(diào)度和并行調(diào)度的結(jié)果，可以明顯的發(fā)現(xiàn)并行調(diào)度后集群的負(fù)載更加均衡。圖 3.1 集群各節(jié)點(diǎn)資源利用率和待調(diào)度的容器所需資源

順序調(diào)度容器1、2、3結(jié)果圖

【參考文獻(xiàn)】：
期刊論文
[1]操作系統(tǒng)虛擬化的研究現(xiàn)狀與展望[J]. 吳松,王坤,金海.  計(jì)算機(jī)研究與發(fā)展. 2019(01)
[2]MapReduce與Spark用于大數(shù)據(jù)分析之比較[J]. 吳信東,嵇圣硙.  軟件學(xué)報(bào). 2018(06)
[3]面向大數(shù)據(jù)處理的基于Spark的異質(zhì)內(nèi)存編程框架[J]. 王晨曦,呂方,崔慧敏,曹婷,John Zigman,莊良吉,馮曉兵.  計(jì)算機(jī)研究與發(fā)展. 2018(02)
[4]基于自適應(yīng)機(jī)制的虛擬機(jī)進(jìn)程實(shí)時(shí)監(jiān)視方法[J]. 崔超遠(yuǎn),李勇鋼,烏云,孫丙宇.  計(jì)算機(jī)學(xué)報(bào). 2019(04)
[5]云計(jì)算虛擬化技術(shù)的發(fā)展與趨勢(shì)[J]. 武志學(xué).  計(jì)算機(jī)應(yīng)用. 2017(04)
[6]面向微服務(wù)架構(gòu)的容器級(jí)彈性資源供給方法[J]. 郝庭毅,吳恒,吳國(guó)全,張文博.  計(jì)算機(jī)研究與發(fā)展. 2017(03)
[7]MapReduce大數(shù)據(jù)處理平臺(tái)與算法研究進(jìn)展[J]. 宋杰,孫宗哲,毛克明,鮑玉斌,于戈.  軟件學(xué)報(bào). 2017(03)
[8]面向Dockerfile的容器鏡像構(gòu)建工具[J]. 耿朋,陳偉,魏峻.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(11)
[9]基于Docker的Hadoop平臺(tái)架構(gòu)研究[J]. 趙樂樂,黃剛,馬越.  計(jì)算機(jī)技術(shù)與發(fā)展. 2016(09)
[10]基于Docker的虛擬化技術(shù)研究[J]. 伍陽(yáng).  信息技術(shù). 2016(01)



本文編號(hào)：3015236