【摘要】：自2007年以來,云計算已經(jīng)逐漸成為國際IT界比較熱門的概念,隨著數(shù)據(jù)量的激增,如何快速高效地存儲和計算海量數(shù)據(jù)成為目前科學(xué)界迫切需要解決的問題,而這類問題恰恰是云計算推出的動力之一,使得云計算的普及和應(yīng)用已經(jīng)成為業(yè)界不可回避和逆轉(zhuǎn)的趨勢。但是就云計算本身說,它只是一種思維模式,要想真正發(fā)揮它的優(yōu)勢,除了必要的硬件設(shè)施之外,更重要的是要有支撐和實現(xiàn)云計算思想的編程模型,而Google提出的MapReduce并行編程模型,以其簡單有力的接口使得并行處理變得簡單易行,為云計算中海量數(shù)據(jù)的計算提供了軟件支持。 本文詳細(xì)分析了Google MapReduce及其底層文件存儲系統(tǒng)GFS的概念、優(yōu)點和實現(xiàn)機制。然后針對MapReduce的執(zhí)行流程中對中間結(jié)果數(shù)據(jù)的處理機制不靈活,沒有在第一時間減少中間結(jié)果的數(shù)量的缺點,在MapRedeuce的map函數(shù)中引入關(guān)聯(lián)數(shù)組,可以使中間結(jié)果的合并操作在Map函數(shù)中自動進(jìn)行,更有效的減少中間結(jié)果的數(shù)量,降低網(wǎng)絡(luò)負(fù)擔(dān),從而提高系統(tǒng)的執(zhí)行效率。 本文在對MapReduce進(jìn)行改進(jìn)之后,設(shè)計和實現(xiàn)了基于MapRedeuce的文本分類器。在文本處理和數(shù)據(jù)挖掘領(lǐng)域,海量數(shù)據(jù)的分類問題是經(jīng)常遇到的,然而傳統(tǒng)的算法只能適應(yīng)于小規(guī)模的數(shù)據(jù),隨著數(shù)據(jù)量的增大,算法的執(zhí)行速度越來越慢,實時性越來越差,成為傳統(tǒng)數(shù)據(jù)挖掘的瓶頸。這種新的分類器構(gòu)建方法在集群中并行地實現(xiàn)分類器的構(gòu)建,大大提高了效率,使得算法具有更好的實時性。 為了驗證MapReduce改進(jìn)之后的性能,我們采用Mapreduce的開源實現(xiàn)Hadoop來進(jìn)行實驗,以運行時間作為衡量算法的標(biāo)準(zhǔn),結(jié)果證明新的算法的效率比傳統(tǒng)的算法要高的多。對于分類器的實現(xiàn),我們也是在Hadoop平臺下進(jìn)行的,通過結(jié)果對比可知,基于MapReduce的分類器的具有更好的效率和可擴(kuò)展性。
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP3
【圖文】：

2 云計算基礎(chǔ)理論算概念算（Cloud Computing）最初誕生于 2007 年第三季度，但是僅僅們對它關(guān)注的程度就遠(yuǎn)遠(yuǎn)超過了網(wǎng)格計算（Grid Computing），如對于云到底是什么東西，不同的廠家有不同的解釋，能夠找到很是仁者見仁，智者見智，目前在 IT 界還沒有公認(rèn)的解釋。其中得個定義如下：算可以理解為一種新的商業(yè)計算模型。它將計算任務(wù)分布在由大構(gòu)成的大型資源池上，各類用戶可以按需定制計算力、存儲空間

算的實現(xiàn)機制邊的介紹可知，云計算分為三種類型：IaaS、PaaS 和 SaaS，一般的解決方案不同，因此目前還沒有一個公認(rèn)的、統(tǒng)一的技術(shù)體系大研究者深入的了解云計算的原理。在此，給大家介紹一種比較方案的、公認(rèn)度比較高的云計算體系結(jié)構(gòu)。具體的結(jié)構(gòu)如圖 2.3 較全面的概括目前幾種主流解決方案的主要特征。

云計算技術(shù)中的最關(guān)鍵部分就是管理中間件層和資源池層，而 SOA 構(gòu)層的功能大多依賴于外部設(shè)施。在此我們以云計算的IaaS為例簡單介紹下云計算的實現(xiàn)機制，如圖2.4所示用戶交互接口通過 Web Services 方式向應(yīng)用提供訪問接口，從而獲取用戶求。用戶可以訪問的服務(wù)以服務(wù)目錄的形式保存。系統(tǒng)管理模塊的核心任務(wù)是證系統(tǒng)的負(fù)載均衡，并負(fù)責(zé)分配和管理整個系統(tǒng)可用的資源。配置工具主要負(fù)給有任務(wù)的結(jié)點配置運行環(huán)境。監(jiān)視統(tǒng)計模塊統(tǒng)計結(jié)點的使用狀態(tài)并監(jiān)視結(jié)點運行狀態(tài)。整個執(zhí)行過程是：用戶通過用戶交互接口從目錄中選取一個服務(wù)，發(fā)出調(diào)用請求。系統(tǒng)管理模塊收到該請求后，首先給用戶分配合適的資源，再過調(diào)用配置工具配置好用戶的運行環(huán)境。

【引證文獻(xiàn)】

相關(guān)期刊論文 前1條

1 翟勃;劉柯;;基于云計算的煤炭企業(yè)電子采購系統(tǒng)研究與設(shè)計[J];西安科技大學(xué)學(xué)報;2012年02期

相關(guān)碩士學(xué)位論文 前5條

1 汪晶晶;基于MapReduce的天文數(shù)據(jù)處理方法與應(yīng)用研究[D];昆明理工大學(xué);2012年

2 孫旗;基于Swing的居民健康檔案管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2012年

3 馮懿;基于云計算的電力系統(tǒng)不良數(shù)據(jù)辨識算法研究[D];南京理工大學(xué);2013年

4 方陽;海量視頻實時云轉(zhuǎn)碼系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2013年

5 封良良;云計算環(huán)境下基于改進(jìn)粒子群的任務(wù)調(diào)度算法[D];新疆大學(xué);2013年

本文編號：2794039