【摘要】：針對Hadoop集群部署過程繁瑣復(fù)雜、耗時(shí)費(fèi)力、運(yùn)維難度大,且不利于快速擴(kuò)展的問題,提出一種結(jié)合Docker容器技術(shù)部署集群的解決方法。該方法把Ambari及其運(yùn)行環(huán)境和配置構(gòu)建成Docker鏡像,并把多節(jié)點(diǎn)容器的運(yùn)行和Hadoop集群的部署過程寫成Shell腳本,只需一條命令,即可實(shí)現(xiàn)集群的自動(dòng)化部署。實(shí)驗(yàn)結(jié)果表明,該方法簡單可靠并極大地提高了集群部署的效率。因此,對海量數(shù)據(jù)的處理和分析具有重要的推動(dòng)作用。
[Abstract]:Aiming at the problem that the deployment of Hadoop cluster is complicated, time-consuming, difficult to operate and difficult to expand quickly, a solution of cluster deployment based on Docker container technology is proposed. In this method, Ambari and its running environment and configuration are constructed as Docker images, and the running of multi-node container and the deployment process of Hadoop cluster are written into Shell script. The automatic deployment of cluster can be realized with a single command. Experimental results show that this method is simple and reliable and greatly improves the efficiency of cluster deployment. Therefore, the processing and analysis of massive data plays an important role.
【作者單位】： 上海海事大學(xué)信息工程學(xué)院;
【分類號】：TP399

【相似文獻(xiàn)】

相關(guān)重要報(bào)紙文章 前8條

1 本報(bào)記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計(jì)算機(jī)世界;2012年

4 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;讓更多人能夠使用Hadoop[N];中國計(jì)算機(jī)報(bào);2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價(jià)值旅客發(fā)現(xiàn)方法研究[D];中國民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達(dá);基于Hadoop分布式計(jì)算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

，

本文編號：2380458