【摘要】：隨著社會(huì)進(jìn)步和互聯(lián)網(wǎng)技術(shù)發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)量飛速增長且規(guī)模日漸龐大,不管是企業(yè)還是個(gè)人都面臨如何對(duì)這些海量數(shù)據(jù)進(jìn)行有效存儲(chǔ)和分析的難題。面對(duì)正在增長的海量數(shù)據(jù),傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲(chǔ)成本過高、海量數(shù)據(jù)管理較困難、可靠性較低、效率低下、并行處理程序編寫困難等諸多缺點(diǎn)。人們需要一種新的技術(shù)思想來解決這些問題。云計(jì)算的思想就很自然地被提出來。 云計(jì)算通過整合互聯(lián)網(wǎng)絡(luò)中的閑散資源,對(duì)外提供強(qiáng)大的存儲(chǔ)和計(jì)算能力,以及一些其它解決方案。Hadoop是一個(gè)開源分布式數(shù)據(jù)處理框架,被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點(diǎn),已成為一種流行的云計(jì)算開發(fā)平臺(tái)。但是Hadoop也存在一定的缺陷,例如,在Hadoop集群中只要一個(gè)名字節(jié)點(diǎn)來管理整個(gè)文件系統(tǒng)的元數(shù)據(jù)和執(zhí)行重要的文件系統(tǒng)操作。這會(huì)限制集群的可擴(kuò)展性、可用性;另外,在傳統(tǒng)Hadoop中,計(jì)算和存儲(chǔ)是緊耦合的,這也會(huì)對(duì)集群的性能造成限制。 本文的研究課題是基于Hadoop的云計(jì)算模型研究與應(yīng)用,主要目標(biāo)是:分析傳統(tǒng)Hadoop框架的性能瓶頸,設(shè)計(jì)一種新的Hadoop框架;在改進(jìn)傳統(tǒng)Hadoop框架的基礎(chǔ)上,設(shè)計(jì)基于改進(jìn)后的Hadoop的云計(jì)算模型,實(shí)現(xiàn)相應(yīng)云計(jì)算平臺(tái),重點(diǎn)解決海量數(shù)據(jù)存儲(chǔ)和分析的難題。 論文的主要工作和成果如下: ①介紹云計(jì)算的基礎(chǔ)理論,包括云計(jì)算的概念、特點(diǎn)、關(guān)鍵技術(shù)和典型的平臺(tái)應(yīng)用。 ②闡述Hadoop的基礎(chǔ)架構(gòu),包括分布式文件系統(tǒng)(HDFS)、并行編程模型MapReduce的原理和實(shí)現(xiàn)機(jī)制、Hadoop框架優(yōu)化措施等。詳細(xì)分析了HDFS的數(shù)據(jù)管理機(jī)制、性能保障措施、以及文件的讀取和寫入過程。 ③分析Hadoop的性能瓶頸,設(shè)計(jì)了一個(gè)新型的Hadoop架構(gòu),解決了傳統(tǒng)Hadoop架構(gòu)中的單名字節(jié)點(diǎn)的瓶頸問題,以及計(jì)算與存儲(chǔ)緊耦合問題,通過理論分析和實(shí)驗(yàn)對(duì)比,論證了新框架的高效性。新框架具有高可用性和良好的可擴(kuò)展能力。 ④完成了基于改進(jìn)的Hadoop的云計(jì)算模型設(shè)計(jì),結(jié)合WEB技術(shù)實(shí)現(xiàn)了云模型中功能模塊的開發(fā)。 本文云計(jì)算模型具有高效性、高可靠性、低成本和易于使用等優(yōu)點(diǎn)。此系統(tǒng)模型可應(yīng)用于企業(yè)數(shù)據(jù)存儲(chǔ)和計(jì)算、科學(xué)研究等領(lǐng)域,為海量數(shù)據(jù)存儲(chǔ)和計(jì)算提供了高可靠性、低成本的解決方案,為云計(jì)算技術(shù)的發(fā)展和Hadoop應(yīng)用提供了一種新的思路。
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP3

【引證文獻(xiàn)】

相關(guān)期刊論文 前1條

1 林大云;;基于Hadoop的微博信息挖掘[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年01期

相關(guān)碩士學(xué)位論文 前3條

1 王東方;面向云計(jì)算的設(shè)備故障診斷系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2012年

2 崔寧寧;面向電信運(yùn)營的云計(jì)算模型研究[D];西北大學(xué);2012年

3 虞樂;基于Hadoop平臺(tái)下回歸算法的性能研究[D];南華大學(xué);2012年

，

本文編號(hào)：2681730