【摘要】：近年來(lái),“云計(jì)算(Cloud Computing)"這一概念持續(xù)升溫,獲得了產(chǎn)業(yè)界、學(xué)術(shù)界、政府等各界的強(qiáng)烈關(guān)注,是當(dāng)前信息技術(shù)領(lǐng)域的熱門(mén)話題之一。云計(jì)算是一種新型的網(wǎng)絡(luò)計(jì)算模式,也是一種按使用量付費(fèi)的模式,它以互聯(lián)網(wǎng)為中心,共享可配置的計(jì)算資源(資源包括硬件資源與軟件資源,硬件資源如：網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)；軟件資源如應(yīng)用軟件、服務(wù)等),且消耗很少的管理成本,向用戶(hù)提供安全、便捷、快速的計(jì)算和存儲(chǔ)服務(wù)。云計(jì)算是一個(gè)概念或模型,支撐這個(gè)概念或模型的技術(shù)其實(shí)很多都被我們熟知,如并行計(jì)算(Parallel Computing)、分布式計(jì)算(Distributed Computing)、網(wǎng)格計(jì)算(Grid Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)等。其中,并行計(jì)算作為云計(jì)算的發(fā)展基礎(chǔ),在云計(jì)算不斷升溫的今天,對(duì)云化的并行計(jì)算的研究就顯得更有意義。 并行計(jì)算(Parallel Computing)為解決大型且復(fù)雜的計(jì)算問(wèn)題提供了這樣一條思路,即同時(shí)使用多種計(jì)算資源,以達(dá)到快速計(jì)算的目的。其誕生以來(lái),解決方案大多停留在硬件層面,直到Google提出了MapReduce這一并行編程思想,并行計(jì)算才被廣泛地應(yīng)用于商業(yè)場(chǎng)景。Hadoop作為MapReduce的開(kāi)源實(shí)現(xiàn),被成功地應(yīng)用于日志分析、并行計(jì)算、ETL、機(jī)器學(xué)習(xí)等不同的場(chǎng)景。然而,從接觸Hadoop到熟練使用,用戶(hù)需要深入了解Hadoop的集群配置方式、編程API、Hadoop任務(wù)運(yùn)行方式等。這無(wú)疑抬高了MapReduce的使用門(mén)檻。 本文提出一種增強(qiáng)的云化并行計(jì)算框架系統(tǒng),其研究目的在于將MapReduce的并行計(jì)算能力作為一種服務(wù)提供給用戶(hù)。該系統(tǒng)可應(yīng)用于目前主流的云環(huán)境中,它充分利用云計(jì)算的高擴(kuò)展、高可靠、通用性等,根據(jù)用戶(hù)對(duì)集群規(guī)模的需求,靈活地配置建立一個(gè)MapReduce集群；為了使開(kāi)發(fā)人員快速進(jìn)行MapReduce程序的開(kāi)發(fā),增強(qiáng)的云化并行計(jì)算框架系統(tǒng)提供一套標(biāo)記性語(yǔ)言,利用這套語(yǔ)言,用戶(hù)不用在業(yè)務(wù)邏輯與Hadoop API之間,書(shū)寫(xiě)大量代碼,而是使用標(biāo)記性語(yǔ)言在程序中標(biāo)示關(guān)鍵數(shù)據(jù)結(jié)構(gòu)與計(jì)算過(guò)程,再由系統(tǒng)進(jìn)行解析、替換、重編譯。這樣一來(lái),減少了用戶(hù)的學(xué)習(xí)成本,簡(jiǎn)化了開(kāi)發(fā)流程。最后,該系統(tǒng)簡(jiǎn)化了運(yùn)行MapReduce Job需要的打包,上傳,運(yùn)行這一系列操作,用戶(hù)只需通過(guò)簡(jiǎn)單地服務(wù)調(diào)用,便可以完成MapReduce Job的運(yùn)行,達(dá)到云服務(wù)快捷、高效、靈活的目的。 論文首先介紹云計(jì)算、并行計(jì)算的概念和相關(guān)背景,以及增強(qiáng)的云化并行計(jì)算框架系統(tǒng)提出的背景與意義；再對(duì)增強(qiáng)的云化并行計(jì)算框架系統(tǒng)中使用到的相關(guān)技術(shù)進(jìn)行了較詳細(xì)的介紹；接著,針對(duì)幾個(gè)關(guān)鍵技術(shù)場(chǎng)景,通過(guò)比較給出解決方案；解決了關(guān)鍵技術(shù)問(wèn)題之后,本文基于實(shí)驗(yàn)室已有的IaaS平臺(tái)提出了層次分明的系統(tǒng)架構(gòu)設(shè)計(jì)圖,詳細(xì)介紹了系統(tǒng)中各功能模塊的交互以及消息數(shù)據(jù)處理流程,著重闡述了各功能模塊的實(shí)現(xiàn)。本文最后對(duì)增強(qiáng)的云化并行計(jì)算框架系統(tǒng)的功能測(cè)試與性能數(shù)據(jù)分析進(jìn)行了介紹,指出了設(shè)計(jì)與實(shí)現(xiàn)工作中,需要進(jìn)一步研究與完善的地方。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：TP338.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫家昶;并行計(jì)算環(huán)境與數(shù)值并行算法研究[J];小型微型計(jì)算機(jī)系統(tǒng);1995年02期

2 雒戰(zhàn)平,劉之行;有限元并行計(jì)算的MPI程序設(shè)計(jì)[J];西安交通大學(xué)學(xué)報(bào);2004年08期

3 苑明哲,于海斌,周悅;流水線型并行控制器[J];控制理論與應(yīng)用;2004年04期

4 李俊照,羅家融;基于linux集群的并行計(jì)算[J];計(jì)算機(jī)測(cè)量與控制;2004年11期

5 劉羽,盧振曉,邱南輝;基于PVM的機(jī)群實(shí)驗(yàn)系統(tǒng)的建立及應(yīng)用[J];廣西工學(xué)院學(xué)報(bào);2005年02期

6 武俊生,謝桂芳;淺談“并行計(jì)算”與COW實(shí)踐[J];電力學(xué)報(bào);2005年02期

7 邊根慶,邵必林,魏小寧;基于CDT的幾乎同態(tài)問(wèn)題探討[J];微電子學(xué)與計(jì)算機(jī);2005年08期

8 葛德彪;楊利霞;;各向異性介質(zhì)FDTD分析及其并行計(jì)算[J];系統(tǒng)工程與電子技術(shù);2006年04期

9 蔣鵬;;塊對(duì)角線性方程組的一種分布式并行迭代算法[J];西安郵電學(xué)院學(xué)報(bào);2006年03期

10 高家全;何桂霞;;并行遺傳算法研究綜述[J];浙江工業(yè)大學(xué)學(xué)報(bào);2007年01期

相關(guān)會(huì)議論文 前10條

1 范曉檣;李樺;田正雨;;超聲速/高超聲速飛行器復(fù)雜流場(chǎng)大規(guī)模并行數(shù)值仿真[A];計(jì)算流體力學(xué)研究進(jìn)展——第十二屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集[C];2004年

2 齊進(jìn);葉文華;;三維激光燒蝕瑞利-泰勒不穩(wěn)定性并行計(jì)算[A];中國(guó)空氣動(dòng)力學(xué)學(xué)會(huì)第十屆物理氣體動(dòng)力學(xué)專(zhuān)業(yè)委員會(huì)會(huì)議論文集[C];2001年

3 張望;王輝;;個(gè)性化服務(wù)中的并行K-Means聚類(lèi)算法[A];2007年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2007年

4 叢鵬;;MPI并行計(jì)算實(shí)現(xiàn)工業(yè)CT圖像重建[A];2004年CT和三維成像學(xué)術(shù)年會(huì)論文集[C];2004年

5 丁國(guó)昊;羅凱;李偉;李樺;;乘波飛行器氣動(dòng)特性數(shù)值模擬與并行計(jì)算[A];第三屆高超聲速科技學(xué)術(shù)會(huì)議會(huì)議文集[C];2010年

6 羅文彩;陳小前;;并行計(jì)算的多方法優(yōu)化協(xié)作[A];第二十四屆中國(guó)控制會(huì)議論文集（上冊(cè)）[C];2005年

7 耿江東;薛正輝;高本慶;;應(yīng)用并行GTD算法計(jì)算陣列天線近場(chǎng)受擾[A];第17屆全國(guó)電磁兼容學(xué)術(shù)會(huì)議論文集[C];2007年

8 唐維軍;張景琳;蔚喜軍;;三維流體界面不穩(wěn)定性的并行計(jì)算[A];中國(guó)工程物理研究院科技年報(bào)（2000）[C];2000年

9 左風(fēng)麗;莫?jiǎng)t堯;葉文華;;計(jì)算流體三維分裂格式的高效并行計(jì)算[A];中國(guó)工程物理研究院科技年報(bào)（2003）[C];2003年

10 杜志文;曾文華;;網(wǎng)格計(jì)算在文本分類(lèi)中的應(yīng)用[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 軼嘉;英特爾全球首個(gè)并行計(jì)算中心落戶(hù)無(wú)錫[N];人民郵電;2009年

2 江錫民;英特爾并行計(jì)算中心落戶(hù)無(wú)錫[N];新華日?qǐng)?bào);2009年

3 劉琦;伯克利專(zhuān)家展望未來(lái)并行計(jì)算[N];中國(guó)計(jì)算機(jī)報(bào);2008年

4 均兒;通用計(jì)算核動(dòng)力[N];電腦報(bào);2009年

5 英特爾并行計(jì)算實(shí)驗(yàn)室研究員 TimothyMattson;并行計(jì)算:減少串行軟件[N];中國(guó)計(jì)算機(jī)報(bào);2007年

6 本報(bào)記者 馬文方;英特爾為何要牽頭并行計(jì)算[N];中國(guó)計(jì)算機(jī)報(bào);2009年

7 英特爾 趙軍(Jun Zhao);PC機(jī)并行計(jì)算革命尚未成功[N];中國(guó)計(jì)算機(jī)報(bào);2009年

8 ;并行計(jì)算成PC產(chǎn)業(yè)發(fā)展瓶頸[N];人民郵電;2008年

9 劉霞;計(jì)算能力的提升需要一場(chǎng)革命[N];科技日?qǐng)?bào);2010年

10 張?jiān)迫?并行計(jì)算：迎接多核時(shí)代的挑戰(zhàn)[N];計(jì)算機(jī)世界;2006年

相關(guān)博士學(xué)位論文 前10條

1 陳軍;分布式存儲(chǔ)環(huán)境下并行計(jì)算可擴(kuò)展性的研究與應(yīng)用[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2000年

2 尹欣;三維彈性問(wèn)題邊界元法并行計(jì)算及其工程應(yīng)用[D];清華大學(xué);2000年

3 陳曉春;基于并行計(jì)算的大渦模擬方法及其工程應(yīng)用基礎(chǔ)研究[D];西安建筑科技大學(xué);2004年

4 王開(kāi)健;基于特大增量步算法的網(wǎng)絡(luò)并行計(jì)算[D];清華大學(xué);2005年

5 張理論;面向氣象預(yù)報(bào)數(shù)值模式的高效并行計(jì)算研究[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

6 寇哲君;可擴(kuò)展沖擊—接觸并行計(jì)算及其在汽車(chē)碰撞模擬中的應(yīng)用[D];清華大學(xué);2003年

7 劉麗;人工免疫網(wǎng)絡(luò)研究及應(yīng)用[D];江南大學(xué);2008年

8 張永彬;巖石破裂過(guò)程分析并行計(jì)算方法研究[D];東北大學(xué);2007年

9 伍湘君;GRAPES高分辨率氣象數(shù)值預(yù)報(bào)模式并行計(jì)算關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

10 吳鋒;基于GPU并行計(jì)算的數(shù)值模擬與燃煤鍋爐系統(tǒng)的優(yōu)化研究[D];浙江大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 涂華軻;增強(qiáng)的云化并行計(jì)算框架系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

2 劉戰(zhàn)合;基于復(fù)合形方法的翼型優(yōu)化設(shè)計(jì)及并行計(jì)算研究[D];西北工業(yè)大學(xué);2004年

3 金光浩;有向圖并行計(jì)算中的多目標(biāo)剖分算法[D];中國(guó)工程物理研究院;2005年

4 岳常智;135四氣門(mén)直噴式柴油機(jī)工作過(guò)程數(shù)值計(jì)算[D];大連理工大學(xué);2006年

5 曹大勇;O_2在MgO（100）表面吸附的第一原理分子動(dòng)力學(xué)研究[D];大連理工大學(xué);2004年

6 葉敏嬌;Manticore體系結(jié)構(gòu)設(shè)計(jì)[D];浙江大學(xué);2006年

7 趙玉林;H.26L視頻編碼器并行性算法研究與實(shí)現(xiàn)[D];西南交通大學(xué);2003年

8 吳穎;一種基于LINUX的集群計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];四川大學(xué);2005年

9 彭虹;分形視頻圖像壓縮并行算法設(shè)計(jì)[D];福州大學(xué);2006年

10 萬(wàn)婷婷;并行計(jì)算的網(wǎng)格應(yīng)用研究[D];廣東工業(yè)大學(xué);2006年

，

本文編號(hào)：2601009