【摘要】：隨著社會進步和互聯(lián)網(wǎng)技術(shù)發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)量飛速增長且規(guī)模日漸龐大,不管是企業(yè)還是個人都面臨如何對這些海量數(shù)據(jù)進行有效存儲和分析的難題。面對正在增長的海量數(shù)據(jù),傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲成本過高、海量數(shù)據(jù)管理較困難、可靠性較低、效率低下、并行處理程序編寫困難等諸多缺點。人們需要一種新的技術(shù)思想來解決這些問題。云計算的思想就很自然地被提出來。 云計算通過整合互聯(lián)網(wǎng)絡(luò)中的閑散資源,對外提供強大的存儲和計算能力,以及一些其它解決方案。Hadoop是一個開源分布式數(shù)據(jù)處理框架,被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點,已成為一種流行的云計算開發(fā)平臺。但是Hadoop也存在一定的缺陷,例如,在Hadoop集群中只要一個名字節(jié)點來管理整個文件系統(tǒng)的元數(shù)據(jù)和執(zhí)行重要的文件系統(tǒng)操作。這會限制集群的可擴展性、可用性;另外,在傳統(tǒng)Hadoop中,計算和存儲是緊耦合的,這也會對集群的性能造成限制。 本文的研究課題是基于Hadoop的云計算模型研究與應(yīng)用,主要目標是:分析傳統(tǒng)Hadoop框架的性能瓶頸,設(shè)計一種新的Hadoop框架;在改進傳統(tǒng)Hadoop框架的基礎(chǔ)上,設(shè)計基于改進后的Hadoop的云計算模型,實現(xiàn)相應(yīng)云計算平臺,重點解決海量數(shù)據(jù)存儲和分析的難題。 論文的主要工作和成果如下: ①介紹云計算的基礎(chǔ)理論,包括云計算的概念、特點、關(guān)鍵技術(shù)和典型的平臺應(yīng)用。 ②闡述Hadoop的基礎(chǔ)架構(gòu),包括分布式文件系統(tǒng)(HDFS)、并行編程模型MapReduce的原理和實現(xiàn)機制、Hadoop框架優(yōu)化措施等。詳細分析了HDFS的數(shù)據(jù)管理機制、性能保障措施、以及文件的讀取和寫入過程。 ③分析Hadoop的性能瓶頸,設(shè)計了一個新型的Hadoop架構(gòu),解決了傳統(tǒng)Hadoop架構(gòu)中的單名字節(jié)點的瓶頸問題,以及計算與存儲緊耦合問題,通過理論分析和實驗對比,論證了新框架的高效性。新框架具有高可用性和良好的可擴展能力。 ④完成了基于改進的Hadoop的云計算模型設(shè)計,結(jié)合WEB技術(shù)實現(xiàn)了云模型中功能模塊的開發(fā)。 本文云計算模型具有高效性、高可靠性、低成本和易于使用等優(yōu)點。此系統(tǒng)模型可應(yīng)用于企業(yè)數(shù)據(jù)存儲和計算、科學(xué)研究等領(lǐng)域,為海量數(shù)據(jù)存儲和計算提供了高可靠性、低成本的解決方案,為云計算技術(shù)的發(fā)展和Hadoop應(yīng)用提供了一種新的思路。
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP3

【引證文獻】

相關(guān)期刊論文 前1條

1 林大云;;基于Hadoop的微博信息挖掘[J];計算機光盤軟件與應(yīng)用;2012年01期

相關(guān)碩士學(xué)位論文 前3條

1 王東方;面向云計算的設(shè)備故障診斷系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2012年

2 崔寧寧;面向電信運營的云計算模型研究[D];西北大學(xué);2012年

3 虞樂;基于Hadoop平臺下回歸算法的性能研究[D];南華大學(xué);2012年

，

本文編號：2681730