【摘要】：目前,云平臺(tái)主要是基于傳統(tǒng)的虛擬機(jī)技術(shù)來實(shí)現(xiàn)底層物理資源的管理和彈性伸縮,在啟停速度、資源利用率、運(yùn)維監(jiān)控以及性能上有較大的資源開銷。大數(shù)據(jù)計(jì)算框架部署在云平臺(tái)上是一種典型的應(yīng)用場景,面對(duì)海量大數(shù)據(jù)的增長,傳統(tǒng)云平臺(tái)構(gòu)架和處理方式無法有效應(yīng)對(duì)大數(shù)據(jù)的處理環(huán)境。作為新興的輕量級(jí)虛擬化容器技術(shù),以Docker容器作為基本單位為開發(fā)人員提供快速構(gòu)建、部署和移植分布式應(yīng)用,極大的簡化開發(fā)者的部署運(yùn)維流程,降低服務(wù)器成本。Kubernetes是Google自動(dòng)部署和管理大規(guī)模Docker容器應(yīng)用的開源系統(tǒng),對(duì)容器化的應(yīng)用提供資源調(diào)度、自動(dòng)部署、服務(wù)發(fā)現(xiàn)、彈性伸縮等一整套功能,對(duì)大數(shù)據(jù)分布式計(jì)算框架Map-Reduce也提供良好的支持。當(dāng)然,Docker有關(guān)安全、存儲(chǔ)等方面還有不足之處,在成為云平臺(tái)構(gòu)建基礎(chǔ)上還處于快速發(fā)展的階段。本文重點(diǎn)設(shè)計(jì)實(shí)現(xiàn)了以虛擬化Docker容器作為大數(shù)據(jù)的底層承載平臺(tái),以Kubernetes作為容器管理、調(diào)度系統(tǒng),部署了基于Dokcer容器的Spark大數(shù)分布式計(jì)算框架。容器化的大數(shù)據(jù)平臺(tái)可以極大的提高資源利用率和計(jì)算并行度,簡化了運(yùn)維管理成本,并能夠應(yīng)對(duì)實(shí)時(shí)負(fù)載,彈性伸縮Spark計(jì)算節(jié)點(diǎn)。針對(duì)基于Kubernetes部署Spark集群,本文的主要工作如下:(1)實(shí)現(xiàn)Docker容器跨主機(jī)通信。Docker本身不具備跨主機(jī)通信能力,利用flannel建立一個(gè)疊加網(wǎng)絡(luò)(Overlay Network),實(shí)現(xiàn)了不同物理主機(jī)上的容器通信的能力。(2)基于Kubernetes系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)了Spark集群。本文分析了Spark集群的通信機(jī)制,使用dockerfile構(gòu)建Spark鏡像,設(shè)計(jì)實(shí)現(xiàn)了基于kubernetes平臺(tái)的大數(shù)據(jù)流式計(jì)算Spark集群,可以快速部署并橫向擴(kuò)展Spark集群。(3)設(shè)計(jì)實(shí)現(xiàn)了基于負(fù)載的Spark節(jié)點(diǎn)彈性伸縮。針對(duì)Docker容器的資源監(jiān)控,采集各個(gè)Node節(jié)點(diǎn)上的容器資源使用數(shù)據(jù),根據(jù)實(shí)時(shí)負(fù)載對(duì)Spark節(jié)點(diǎn)執(zhí)行響應(yīng)的伸縮活動(dòng)。(4)對(duì)該平臺(tái)進(jìn)行了部署和測試。實(shí)驗(yàn)表明,使用Docker容器構(gòu)建Spark框架,能夠提高資源利用率、簡化運(yùn)維流程等,驗(yàn)證了該系統(tǒng)的可行性和有效性。
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.09;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期

2 ;大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J];硅谷;2013年01期

3 羅軍舟;金嘉暉;宋愛波;東方;;云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報(bào);2011年07期

4 陳全;鄧倩妮;;云計(jì)算及其關(guān)鍵技術(shù)[J];計(jì)算機(jī)應(yīng)用;2009年09期

相關(guān)碩士學(xué)位論文 前1條

1 馮明振;基于macvlan的Docker容器網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2016年

，

本文編號(hào)：2558270