【摘要】：近年來,“云計算(Cloud Computing)"這一概念持續(xù)升溫,獲得了產(chǎn)業(yè)界、學術界、政府等各界的強烈關注,是當前信息技術領域的熱門話題之一。云計算是一種新型的網(wǎng)絡計算模式,也是一種按使用量付費的模式,它以互聯(lián)網(wǎng)為中心,共享可配置的計算資源(資源包括硬件資源與軟件資源,硬件資源如：網(wǎng)絡、服務器、存儲；軟件資源如應用軟件、服務等),且消耗很少的管理成本,向用戶提供安全、便捷、快速的計算和存儲服務。云計算是一個概念或模型,支撐這個概念或模型的技術其實很多都被我們熟知,如并行計算(Parallel Computing)、分布式計算(Distributed Computing)、網(wǎng)格計算(Grid Computing)、效用計算(Utility Computing)、網(wǎng)絡存儲(Network Storage Technologies)、虛擬化(Virtualization)、負載均衡(Load Balance)等。其中,并行計算作為云計算的發(fā)展基礎,在云計算不斷升溫的今天,對云化的并行計算的研究就顯得更有意義。 并行計算(Parallel Computing)為解決大型且復雜的計算問題提供了這樣一條思路,即同時使用多種計算資源,以達到快速計算的目的。其誕生以來,解決方案大多停留在硬件層面,直到Google提出了MapReduce這一并行編程思想,并行計算才被廣泛地應用于商業(yè)場景。Hadoop作為MapReduce的開源實現(xiàn),被成功地應用于日志分析、并行計算、ETL、機器學習等不同的場景。然而,從接觸Hadoop到熟練使用,用戶需要深入了解Hadoop的集群配置方式、編程API、Hadoop任務運行方式等。這無疑抬高了MapReduce的使用門檻。 本文提出一種增強的云化并行計算框架系統(tǒng),其研究目的在于將MapReduce的并行計算能力作為一種服務提供給用戶。該系統(tǒng)可應用于目前主流的云環(huán)境中,它充分利用云計算的高擴展、高可靠、通用性等,根據(jù)用戶對集群規(guī)模的需求,靈活地配置建立一個MapReduce集群；為了使開發(fā)人員快速進行MapReduce程序的開發(fā),增強的云化并行計算框架系統(tǒng)提供一套標記性語言,利用這套語言,用戶不用在業(yè)務邏輯與Hadoop API之間,書寫大量代碼,而是使用標記性語言在程序中標示關鍵數(shù)據(jù)結構與計算過程,再由系統(tǒng)進行解析、替換、重編譯。這樣一來,減少了用戶的學習成本,簡化了開發(fā)流程。最后,該系統(tǒng)簡化了運行MapReduce Job需要的打包,上傳,運行這一系列操作,用戶只需通過簡單地服務調(diào)用,便可以完成MapReduce Job的運行,達到云服務快捷、高效、靈活的目的。 論文首先介紹云計算、并行計算的概念和相關背景,以及增強的云化并行計算框架系統(tǒng)提出的背景與意義；再對增強的云化并行計算框架系統(tǒng)中使用到的相關技術進行了較詳細的介紹；接著,針對幾個關鍵技術場景,通過比較給出解決方案；解決了關鍵技術問題之后,本文基于實驗室已有的IaaS平臺提出了層次分明的系統(tǒng)架構設計圖,詳細介紹了系統(tǒng)中各功能模塊的交互以及消息數(shù)據(jù)處理流程,著重闡述了各功能模塊的實現(xiàn)。本文最后對增強的云化并行計算框架系統(tǒng)的功能測試與性能數(shù)據(jù)分析進行了介紹,指出了設計與實現(xiàn)工作中,需要進一步研究與完善的地方。
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP338.6

【相似文獻】

相關期刊論文 前10條

1 孫家昶;并行計算環(huán)境與數(shù)值并行算法研究[J];小型微型計算機系統(tǒng);1995年02期

2 雒戰(zhàn)平,劉之行;有限元并行計算的MPI程序設計[J];西安交通大學學報;2004年08期

3 苑明哲,于海斌,周悅;流水線型并行控制器[J];控制理論與應用;2004年04期

4 李俊照,羅家融;基于linux集群的并行計算[J];計算機測量與控制;2004年11期

5 劉羽,盧振曉,邱南輝;基于PVM的機群實驗系統(tǒng)的建立及應用[J];廣西工學院學報;2005年02期

6 武俊生,謝桂芳;淺談“并行計算”與COW實踐[J];電力學報;2005年02期

7 邊根慶,邵必林,魏小寧;基于CDT的幾乎同態(tài)問題探討[J];微電子學與計算機;2005年08期

8 葛德彪;楊利霞;;各向異性介質(zhì)FDTD分析及其并行計算[J];系統(tǒng)工程與電子技術;2006年04期

9 蔣鵬;;塊對角線性方程組的一種分布式并行迭代算法[J];西安郵電學院學報;2006年03期

10 高家全;何桂霞;;并行遺傳算法研究綜述[J];浙江工業(yè)大學學報;2007年01期

相關會議論文 前10條

1 范曉檣;李樺;田正雨;;超聲速/高超聲速飛行器復雜流場大規(guī)模并行數(shù)值仿真[A];計算流體力學研究進展——第十二屆全國計算流體力學會議論文集[C];2004年

2 齊進;葉文華;;三維激光燒蝕瑞利-泰勒不穩(wěn)定性并行計算[A];中國空氣動力學學會第十屆物理氣體動力學專業(yè)委員會會議論文集[C];2001年

3 張望;王輝;;個性化服務中的并行K-Means聚類算法[A];2007年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2007年

4 叢鵬;;MPI并行計算實現(xiàn)工業(yè)CT圖像重建[A];2004年CT和三維成像學術年會論文集[C];2004年

5 丁國昊;羅凱;李偉;李樺;;乘波飛行器氣動特性數(shù)值模擬與并行計算[A];第三屆高超聲速科技學術會議會議文集[C];2010年

6 羅文彩;陳小前;;并行計算的多方法優(yōu)化協(xié)作[A];第二十四屆中國控制會議論文集（上冊）[C];2005年

7 耿江東;薛正輝;高本慶;;應用并行GTD算法計算陣列天線近場受擾[A];第17屆全國電磁兼容學術會議論文集[C];2007年

8 唐維軍;張景琳;蔚喜軍;;三維流體界面不穩(wěn)定性的并行計算[A];中國工程物理研究院科技年報（2000）[C];2000年

9 左風麗;莫則堯;葉文華;;計算流體三維分裂格式的高效并行計算[A];中國工程物理研究院科技年報（2003）[C];2003年

10 杜志文;曾文華;;網(wǎng)格計算在文本分類中的應用[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

相關重要報紙文章 前10條

1 軼嘉;英特爾全球首個并行計算中心落戶無錫[N];人民郵電;2009年

2 江錫民;英特爾并行計算中心落戶無錫[N];新華日報;2009年

3 劉琦;伯克利專家展望未來并行計算[N];中國計算機報;2008年

4 均兒;通用計算核動力[N];電腦報;2009年

5 英特爾并行計算實驗室研究員 TimothyMattson;并行計算:減少串行軟件[N];中國計算機報;2007年

6 本報記者 馬文方;英特爾為何要牽頭并行計算[N];中國計算機報;2009年

7 英特爾 趙軍(Jun Zhao);PC機并行計算革命尚未成功[N];中國計算機報;2009年

8 ;并行計算成PC產(chǎn)業(yè)發(fā)展瓶頸[N];人民郵電;2008年

9 劉霞;計算能力的提升需要一場革命[N];科技日報;2010年

10 張云泉;并行計算：迎接多核時代的挑戰(zhàn)[N];計算機世界;2006年

相關博士學位論文 前10條

1 陳軍;分布式存儲環(huán)境下并行計算可擴展性的研究與應用[D];中國人民解放軍國防科學技術大學;2000年

2 尹欣;三維彈性問題邊界元法并行計算及其工程應用[D];清華大學;2000年

3 陳曉春;基于并行計算的大渦模擬方法及其工程應用基礎研究[D];西安建筑科技大學;2004年

4 王開健;基于特大增量步算法的網(wǎng)絡并行計算[D];清華大學;2005年

5 張理論;面向氣象預報數(shù)值模式的高效并行計算研究[D];中國人民解放軍國防科學技術大學;2002年

6 寇哲君;可擴展沖擊—接觸并行計算及其在汽車碰撞模擬中的應用[D];清華大學;2003年

7 劉麗;人工免疫網(wǎng)絡研究及應用[D];江南大學;2008年

8 張永彬;巖石破裂過程分析并行計算方法研究[D];東北大學;2007年

9 伍湘君;GRAPES高分辨率氣象數(shù)值預報模式并行計算關鍵技術研究[D];國防科學技術大學;2011年

10 吳鋒;基于GPU并行計算的數(shù)值模擬與燃煤鍋爐系統(tǒng)的優(yōu)化研究[D];浙江大學;2010年

相關碩士學位論文 前10條

1 涂華軻;增強的云化并行計算框架系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2013年

2 劉戰(zhàn)合;基于復合形方法的翼型優(yōu)化設計及并行計算研究[D];西北工業(yè)大學;2004年

3 金光浩;有向圖并行計算中的多目標剖分算法[D];中國工程物理研究院;2005年

4 岳常智;135四氣門直噴式柴油機工作過程數(shù)值計算[D];大連理工大學;2006年

5 曹大勇;O_2在MgO（100）表面吸附的第一原理分子動力學研究[D];大連理工大學;2004年

6 葉敏嬌;Manticore體系結構設計[D];浙江大學;2006年

7 趙玉林;H.26L視頻編碼器并行性算法研究與實現(xiàn)[D];西南交通大學;2003年

8 吳穎;一種基于LINUX的集群計算系統(tǒng)的設計與實現(xiàn)[D];四川大學;2005年

9 彭虹;分形視頻圖像壓縮并行算法設計[D];福州大學;2006年

10 萬婷婷;并行計算的網(wǎng)格應用研究[D];廣東工業(yè)大學;2006年

，

本文編號：2601009