發(fā)布時間：2022-02-15 00:00

　　云計算（Cloud Computing）是在2007年第3季度才誕生的新名詞,但僅僅過了半年多,其就成為當今計算機界一個研究熱點,業(yè)內(nèi)外人士對其發(fā)展情況和實用價值都表現(xiàn)出非常的關(guān)注。對于云計算的研究在各大公司及院校相繼展開。云計算是一種新興的共享基礎(chǔ)架構(gòu)的方法,最終將成為一種普及性服務(wù)。云計算從實質(zhì)上來說是網(wǎng)格計算和分布式計算的延伸。基于這一點,本文分析并比較現(xiàn)有的分布式存儲和計算技術(shù)等,結(jié)合Hadoop的集群技術(shù)的研究,提出了基于Hadoop的海量數(shù)據(jù)存儲模型,并從數(shù)據(jù)結(jié)構(gòu)設(shè)計、模型設(shè)計、功能模塊和編程技術(shù)的使用等幾個方面來介紹該模型的開發(fā)方法,最后將該模型應(yīng)用于海量數(shù)據(jù)處理（詞頻統(tǒng)計）中。該技術(shù)還可以應(yīng)用在諸多海量數(shù)據(jù)處理領(lǐng)域中,例如:web日志處理、搜索引擎、大規(guī)模文件存儲等。本課題利用前沿的分布式框架技術(shù),將模型很好地部署到實例當中,與非分布式狀態(tài)運行的系統(tǒng)進行比較,用實驗來檢驗其性能。本課題的特點是將研究的模型與詞頻統(tǒng)計應(yīng)用相結(jié)合,利用前沿的分布式框架技術(shù)來很好地滿足項目的需求,并將模型部署到實例當中,用實驗結(jié)果來檢驗?zāi)Ｐ偷膶嵱脙r值,比如高效率、低成本、可拓展性和易維護性等。... 

【文章來源】：武漢科技大學(xué)湖北省

【文章頁數(shù)】：58 頁

【學(xué)位級別】：碩士

【部分圖文】：

GFS的系統(tǒng)架構(gòu)

武漢科技大學(xué) 碩士學(xué)位論文 第 7 頁圖2.2 面向服務(wù)的亞馬遜平臺架構(gòu)接下來介紹亞馬遜云計算中的彈性MapReduce服務(wù)。亞馬遜的彈性MapReduce是通過EC2和S3來實現(xiàn)的，其基本框架如圖2.3所示：圖2.3 亞馬遜的彈性 MapReduce 基本框圖用戶在使用彈性 MapReduce 時，首先要將相關(guān)數(shù)據(jù)上傳至 S3，在亞馬遜彈性MapReduce 中，S3作為原始數(shù)據(jù)和處理結(jié)果的存儲系統(tǒng)。需要上傳的相關(guān)數(shù)據(jù)中既包括用戶待處理的數(shù)據(jù)，也包括一個 Mapper 和一個 Reduce 執(zhí)行代碼。彈性 MapReduce 的運行過程非常簡單，用戶根本不需要考慮計算中涉及的服務(wù)器部署、維護以及軟件環(huán)境的配置。除了這些基本的設(shè)置不需要用戶處理之外，亞馬遜在可靠性、數(shù)據(jù)安全等方面也采取

圖2.2 面向服務(wù)的亞馬遜平臺架構(gòu)接下來介紹亞馬遜云計算中的彈性MapReduce服務(wù)。亞馬遜的彈性MapReduce是通過EC2和S3來實現(xiàn)的，其基本框架如圖2.3所示：圖2.3 亞馬遜的彈性 MapReduce 基本框圖用戶在使用彈性 MapReduce 時，首先要將相關(guān)數(shù)據(jù)上傳至 S3，在亞馬遜彈性MapReduce 中，S3作為原始數(shù)據(jù)和處理結(jié)果的存儲系統(tǒng)。需要上傳的相關(guān)數(shù)據(jù)中既包括用戶待處理的數(shù)據(jù)，也包括一個 Mapper 和一個 Reduce 執(zhí)行代碼。彈性 MapReduce 的運行過程非常簡單，用戶根本不需要考慮計算中涉及的服務(wù)器部署、維護以及軟件環(huán)境的配置。除了這些基本的設(shè)置不需要用戶處理之外，亞馬遜在可靠性、數(shù)據(jù)安全等方面也采取

【參考文獻】：
期刊論文
[1]云計算應(yīng)用現(xiàn)狀與趨勢[J]. 袁正午,李琦.  數(shù)字通信. 2010(03)
[2]Google云計算平臺的技術(shù)架構(gòu)及對其成本的影響研究[J]. 孫健,賈曉菁.  電信科學(xué). 2010(01)
[3]云計算與網(wǎng)格計算的比較[J]. 沈舒.  軟件導(dǎo)刊. 2009(12)
[4]云計算及其在軍事上的應(yīng)用探討[J]. 曾麗君,張紅梅,李中林.  現(xiàn)代電子技術(shù). 2009(23)
[5]面向云計算的網(wǎng)絡(luò)化平臺研究與實現(xiàn)[J]. 史佩昌,王懷民,蔣杰,盧凱.  計算機工程與科學(xué). 2009(S1)
[6]IBM云計算:從理想到實踐[J]. 劉琦琳.  互聯(lián)網(wǎng)周刊. 2009(11)
[7]改進SPRINT算法及其在分布式環(huán)境下的研究[J]. 于蕾,劉大有,高瀅,田野.  吉林大學(xué)學(xué)報(理學(xué)版). 2008(06)
[8]云端的小飛象—Hadoop[J]. 孫牧.  程序員. 2008(10)
[9]MapReduce模型的調(diào)度及容錯機制研究[J]. 孫廣中,肖鋒,熊曦.  微電子學(xué)與計算機. 2007(09)
[10]信息生命周期理論在企業(yè)數(shù)據(jù)中心的應(yīng)用研究[J]. 王印紅,郭相坤.  中國管理信息化(綜合版). 2007(03)

碩士論文
[1]云計算中的深度包檢測技術(shù)研究[D]. 李揚.中國科學(xué)技術(shù)大學(xué) 2010
[2]云環(huán)境下作業(yè)調(diào)度算法研究與實現(xiàn)[D]. 趙春燕.北京交通大學(xué) 2009
[3]基于Hadoop平臺的通信數(shù)據(jù)分布式查詢算法的設(shè)計與實現(xiàn)[D]. 陳勇.北京交通大學(xué) 2009
[4]云計算中的網(wǎng)絡(luò)拓撲設(shè)計和Hadoop平臺研究[D]. 鄧自立.中國科學(xué)技術(shù)大學(xué) 2009
[5]基于Map/Reduce的分布式智能搜索引擎框架研究[D]. 付志超.武漢理工大學(xué) 2008
[6]基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D]. 朱珠.北京郵電大學(xué) 2008



本文編號：3625504