【摘要】：目前,云平臺主要是基于傳統(tǒng)的虛擬機技術(shù)來實現(xiàn)底層物理資源的管理和彈性伸縮,在啟停速度、資源利用率、運維監(jiān)控以及性能上有較大的資源開銷。大數(shù)據(jù)計算框架部署在云平臺上是一種典型的應(yīng)用場景,面對海量大數(shù)據(jù)的增長,傳統(tǒng)云平臺構(gòu)架和處理方式無法有效應(yīng)對大數(shù)據(jù)的處理環(huán)境。作為新興的輕量級虛擬化容器技術(shù),以Docker容器作為基本單位為開發(fā)人員提供快速構(gòu)建、部署和移植分布式應(yīng)用,極大的簡化開發(fā)者的部署運維流程,降低服務(wù)器成本。Kubernetes是Google自動部署和管理大規(guī)模Docker容器應(yīng)用的開源系統(tǒng),對容器化的應(yīng)用提供資源調(diào)度、自動部署、服務(wù)發(fā)現(xiàn)、彈性伸縮等一整套功能,對大數(shù)據(jù)分布式計算框架Map-Reduce也提供良好的支持。當然,Docker有關(guān)安全、存儲等方面還有不足之處,在成為云平臺構(gòu)建基礎(chǔ)上還處于快速發(fā)展的階段。本文重點設(shè)計實現(xiàn)了以虛擬化Docker容器作為大數(shù)據(jù)的底層承載平臺,以Kubernetes作為容器管理、調(diào)度系統(tǒng),部署了基于Dokcer容器的Spark大數(shù)分布式計算框架。容器化的大數(shù)據(jù)平臺可以極大的提高資源利用率和計算并行度,簡化了運維管理成本,并能夠應(yīng)對實時負載,彈性伸縮Spark計算節(jié)點。針對基于Kubernetes部署Spark集群,本文的主要工作如下:(1)實現(xiàn)Docker容器跨主機通信。Docker本身不具備跨主機通信能力,利用flannel建立一個疊加網(wǎng)絡(luò)(Overlay Network),實現(xiàn)了不同物理主機上的容器通信的能力。(2)基于Kubernetes系統(tǒng)設(shè)計實現(xiàn)了Spark集群。本文分析了Spark集群的通信機制,使用dockerfile構(gòu)建Spark鏡像,設(shè)計實現(xiàn)了基于kubernetes平臺的大數(shù)據(jù)流式計算Spark集群,可以快速部署并橫向擴展Spark集群。(3)設(shè)計實現(xiàn)了基于負載的Spark節(jié)點彈性伸縮。針對Docker容器的資源監(jiān)控,采集各個Node節(jié)點上的容器資源使用數(shù)據(jù),根據(jù)實時負載對Spark節(jié)點執(zhí)行響應(yīng)的伸縮活動。(4)對該平臺進行了部署和測試。實驗表明,使用Docker容器構(gòu)建Spark框架,能夠提高資源利用率、簡化運維流程等,驗證了該系統(tǒng)的可行性和有效性。
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP393.09;TP311.13

【參考文獻】

相關(guān)期刊論文 前4條

1 程學旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學報;2014年09期

2 ;大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J];硅谷;2013年01期

3 羅軍舟;金嘉暉;宋愛波;東方;;云計算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學報;2011年07期

4 陳全;鄧倩妮;;云計算及其關(guān)鍵技術(shù)[J];計算機應(yīng)用;2009年09期

相關(guān)碩士學位論文 前1條

1 馮明振;基于macvlan的Docker容器網(wǎng)絡(luò)系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江大學;2016年

，

本文編號：2558270