【摘要】：信息爆炸時代,人們對于有效信息的獲取已成為基本要求,而“數(shù)據(jù)豐富,信息貧乏”這一現(xiàn)狀,促使信息檢索技術(shù)在不斷的更新和完善。目前數(shù)字信息量激增、存儲價(jià)格低廉、網(wǎng)絡(luò)迅猛發(fā)展,在這種情況下要快速獲取有效信息,傳統(tǒng)的本地文件系統(tǒng)因受單一的設(shè)備局限,其存儲容量和存儲效率都已經(jīng)很難滿足當(dāng)前人們對存儲管理的要求。分布式的文件存儲和檢索系統(tǒng)具有的高效、穩(wěn)定、可擴(kuò)展性強(qiáng)等優(yōu)勢,成為了我們實(shí)現(xiàn)高效的存儲檢索平臺的首選地方式。 分布式并行編程模型很多,各有特點(diǎn),我們比較了經(jīng)典的OpenMP、MPI和最近比較熱門的MapReduce編程模式,發(fā)現(xiàn)OpenMP可擴(kuò)展性差而MPI的編程模型復(fù)雜。MapReduce是Google提出的一種針對大規(guī)模群組中的海量數(shù)據(jù)處理的分布式編程模型。其優(yōu)點(diǎn)在于:可擴(kuò)展性好,可讀性強(qiáng),并具有較好的自動并行能力和容錯能力。 本文分析了分布式系統(tǒng)優(yōu)勢,介紹了MapReduce這種編程模式;建立了一個基于MapReduce的分布式文件存儲系統(tǒng)(DFS:distributed file system),并在此存儲系統(tǒng)上構(gòu)建了分布式檢索平臺(DIR:distributed information retrieval),實(shí)現(xiàn)了檢索。 實(shí)驗(yàn)對比說明,隨著處理數(shù)據(jù)的增加,基于MapReduce的分布式文件存儲和檢索系統(tǒng)的效率遠(yuǎn)優(yōu)于單機(jī)處理以及MPI并行系統(tǒng),但是還是有閥值問題;改進(jìn)Reduce階段的性能,可以提高并行計(jì)算系統(tǒng)的整體性能;博客存儲檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),驗(yàn)證了基于MapReduce模型的分布式文件存儲與檢索系統(tǒng)具有可行性。
【圖文】：

工程碩士學(xué)位論文在這個例子中，map 函數(shù)檢查每一個單詞，并且對每一個單詞增加 1 到其對應(yīng)的計(jì)數(shù)器（在這個例子里就是“1”）。reduce 函數(shù)把特定單詞的所有出現(xiàn)次數(shù)進(jìn)行合并。如圖 2.1，我們輸入字符串S1“Hello Word Bye Word”和S2“Hello MapReduceGoodBye MapReduce”，分別用Map函數(shù)對其中每一個單詞出現(xiàn)次數(shù)作為中間結(jié)果輸出，然后調(diào)用Reduce函數(shù)歸并Map1 和Map2 得到的中間結(jié)果，即對同樣單詞出現(xiàn)的次數(shù)進(jìn)行合并，最后統(tǒng)計(jì)出輸入文本S1+S2 中每個詞總共出現(xiàn)的次數(shù)。

每個節(jié)點(diǎn)通常是雙 x86 處理器，運(yùn)行在 Linux 上，每臺機(jī)器 2～4GB 內(nèi)存。第二，使用常用的網(wǎng)絡(luò)設(shè)備。一般是百兆或千兆網(wǎng)絡(luò)，一般情況下都用不到一半的網(wǎng)絡(luò)帶寬。第三，一個集群中常常有成百上千臺機(jī)器，所以，若干臺機(jī)器的故障是難免的。第四，存儲時使用的廉價(jià) IDE 硬盤，直接掛在每一個機(jī)器上。并且有一個分布式的文件系統(tǒng)來管理這些分布在各個機(jī)器上的硬盤；文件系統(tǒng)通過復(fù)制的方法在不可靠的硬件上保證可用性和可靠性。最后，用戶向調(diào)度系統(tǒng)提交請求。每一個請求都包含一組任務(wù)，映射到這個計(jì)算機(jī)集群里的一組機(jī)器上執(zhí)行。2.2.2.1 執(zhí)行概覽Map 操作是通過把輸入自動分割成 M 個分區(qū)而分布到不同的機(jī)器上去執(zhí)行的。輸入可以在不同的節(jié)點(diǎn)上被并行地處理。而 Reduce 操作，則是通過把中間結(jié)果的鍵值空間切分成 R 塊，來分布執(zhí)行的，如可以使用切分函數(shù) 。切分函數(shù)與分區(qū)個數(shù)R 可由用戶指定。Hash ( key )%R
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2009
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李東曉,劉世元,史鐵林,楊叔子;面向大型成套設(shè)備的分布式監(jiān)測診斷系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;1996年06期

2 陳培林，史鐵林，韓西京，，楊叔子;機(jī)械設(shè)備分布式診斷專家系統(tǒng)的任務(wù)描述與分解[J];機(jī)械科學(xué)與技術(shù);1996年03期

3 郭弘;感受互動的魅力——徐光yP教授談新一代分布式多媒體信息系統(tǒng)[J];微電腦世界;2000年22期

4 羅英偉;基于Agent的分布式地理信息系統(tǒng)研究[J];測繪學(xué)報(bào);2001年04期

5 胡穎;分布式數(shù)字城市結(jié)構(gòu)的設(shè)想[J];引進(jìn)與咨詢;2001年02期

6 康爾良;呂生;;大型工廠主要電力設(shè)備的計(jì)算機(jī)監(jiān)控系統(tǒng)[J];電工技術(shù);2001年02期

7 張會田;;基于WEB的分布式電子文獻(xiàn)傳遞系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];圖書館雜志;2003年10期

8 左琪,李善平;一種可擴(kuò)展的分布式VoD系統(tǒng)[J];電視技術(shù);2005年S1期

9 袁士強(qiáng) ,余宗寶;泵群監(jiān)控系統(tǒng)的開發(fā)[J];中國儀器儀表;2005年08期

10 閆軍華,朱二莉,王姝;CORBA在煤礦監(jiān)控系統(tǒng)集成方面的應(yīng)用[J];工礦自動化;2005年05期

相關(guān)會議論文 前10條

1 張德明;;構(gòu)建分布式聲納信號處理系統(tǒng)[A];中國聲學(xué)學(xué)會2002年全國聲學(xué)學(xué)術(shù)會議論文集[C];2002年

2 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計(jì)算機(jī)學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

3 韓希先;李建中;;分布式有序表中一種有效的在線計(jì)劃批量插入方法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）[C];2009年

4 郭柯;代璐;周林;;分布式并網(wǎng)發(fā)電系統(tǒng)孤島檢測方法綜述[A];重慶市電機(jī)工程學(xué)會2010年學(xué)術(shù)會議論文集[C];2010年

5 李其瑩;張洪霞;;配電網(wǎng)中實(shí)現(xiàn)小電流接地選線一種方案[A];華東六省一市電機(jī)工程（電力）學(xué)會輸配電技術(shù)研討會2002年年會山東電機(jī)工程學(xué)會交流論文集[C];2002年

6 周詳;王龍明;;建立分布式防護(hù)的安全體系[A];中國煙草行業(yè)信息化研討會論文集[C];2004年

7 高長壽;陳定方;郭蘊(yùn)華;周麗琨;;分布式路由器級拓?fù)浒l(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機(jī)械工程學(xué)會學(xué)術(shù)年會論文集（湖北專集）[C];2005年

8 喬善平;朱波;趙玲;;基于移動Agent的0-1背包問題分布式求解[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

9 林然;;一種分布式VOD管理方案[A];四川省通信學(xué)會2007年學(xué)術(shù)年會論文集[C];2007年

10 張紅娟;劉暉;唐健;錢闖;;分布式CORS服務(wù)平臺的設(shè)計(jì)與原型系統(tǒng)的開發(fā)實(shí)現(xiàn)[A];第三屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集——S08衛(wèi)星導(dǎo)航模型與方法[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 曉京;做分布式呼叫中心[N];中國計(jì)算機(jī)報(bào);2003年

2 記者 張磊;分布式能源技術(shù)研討會在京召開[N];中國電力報(bào);2004年

3 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報(bào);2003年

4 劉軼軒;IONA：分布式SOA四兩撥千斤[N];通信產(chǎn)業(yè)報(bào);2007年

5 ;中興通訊分布式“3G”服務(wù)[N];中國計(jì)算機(jī)報(bào);2002年

6 國家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計(jì)算機(jī)報(bào);2005年

7 國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國計(jì)算機(jī)報(bào);2005年

8 李蕓 星際網(wǎng)絡(luò)公司;IP分布式呼叫中心 讓企業(yè)駛離信息孤島[N];計(jì)算機(jī)世界;2002年

9 記者邰舉;韓分布式超級計(jì)算機(jī)年底誕生[N];科技日報(bào);2003年

10 國家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計(jì)算機(jī)報(bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 王宇翔;分布式網(wǎng)絡(luò)地理信息系統(tǒng)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

2 董紅軍;基于多Agent的分布式CAPP及工藝信息管理研究[D];西北工業(yè)大學(xué);2000年

3 婁淵勝;基于構(gòu)件的分布式防汛信息系統(tǒng)框架研究[D];河海大學(xué);2002年

4 劉峰;儀用主從耦合分布式并行處理容錯系統(tǒng)體系結(jié)構(gòu)研究[D];浙江大學(xué);2003年

5 王加虎;分布式水文模型理論與方法研究[D];河海大學(xué);2006年

6 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測系統(tǒng)研究及實(shí)現(xiàn)[D];南京理工大學(xué);2008年

7 唐秋華;分布式虛擬環(huán)境建模研究[D];武漢理工大學(xué);2005年

8 侯梅毅;分布式同步發(fā)電機(jī)的孤島檢測原理與實(shí)現(xiàn)[D];山東大學(xué);2010年

9 朱旭琪;分布式信息壓縮算法研究[D];北京郵電大學(xué);2011年

10 周克昌;分布式地震數(shù)據(jù)庫系統(tǒng)的研究與實(shí)踐[D];中國地震局地球物理研究所;2003年

相關(guān)碩士學(xué)位論文 前10條

1 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實(shí)踐[D];北京郵電大學(xué);2010年

2 曹挹芬;分布式文件存儲與檢索平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2009年

3 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

4 周峰;互聯(lián)網(wǎng)文件存儲服務(wù)系統(tǒng)研究[D];華中科技大學(xué);2011年

5 薛沛林;基于IP網(wǎng)的分布式視頻會議系統(tǒng)的研究與實(shí)踐[D];暨南大學(xué);2001年

6 嚴(yán)芬;分布式多層應(yīng)用系統(tǒng)及其安全控制的研究與應(yīng)用[D];揚(yáng)州大學(xué);2002年

7 王雄;基于網(wǎng)絡(luò)的分布式測試系統(tǒng)開放式架構(gòu)研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2003年

8 李佐儒;分布式數(shù)字監(jiān)控系統(tǒng)及其在安全生產(chǎn)管理中的應(yīng)用[D];四川大學(xué);2003年

9 鄭大志;基于Web服務(wù)和CORBA的分布式網(wǎng)絡(luò)管理體系結(jié)構(gòu)研究[D];武漢科技大學(xué);2003年

10 黃鯤;一種分布式入侵監(jiān)測系統(tǒng)的研究[D];昆明理工大學(xué);2004年

本文編號：2668250