高性能計算機的發(fā)展促使了高效能程序設(shè)計環(huán)境的產(chǎn)生與發(fā)展,尤其是并行編程模式的發(fā)展。一方面,由于并行機體系結(jié)構(gòu)的多樣性給并行程序的開發(fā)帶來了很多困難,因此怎樣簡化并行編程提高開發(fā)效率成為了一個關(guān)鍵問題。另一方面,面向云環(huán)境,如何提高并行計算的能力以實現(xiàn)在海量數(shù)據(jù)中獲取有價值的信息也成為了互聯(lián)網(wǎng)中極需解決的問題。針對上述兩個問題,Google公司研發(fā)了一種新的并行編程模型MapReduce,它在高抽象層次上以易使用和易理解的方式來簡單高效地解決并行計算問題。論文在研究并行編程模型及其具體的并行程序開發(fā)模式的基礎(chǔ)上,緊緊圍繞云計算及其關(guān)鍵技術(shù)MapReduce并行編程模式展開研究,通過對MapReduce的實現(xiàn)框架、執(zhí)行過程及其實現(xiàn)平臺進行分析與應(yīng)用,取得了以下研究成果：1、針對MapReduce缺乏一個快速高效的標(biāo)準(zhǔn)或規(guī)則來調(diào)整和優(yōu)化其作業(yè)執(zhí)行性能的問題,本文提出了提高MapReduce性能的幾種技巧,先描述問題出現(xiàn)的狀況,再提出具體的解決方法,最后在集群上進行測試實驗,且給出了使用技巧前后的對比性測試數(shù)據(jù),可給MapReduce作業(yè)的開發(fā)者提供幫助。2、通過對MapReduce模型執(zhí)行過... 

【文章來源】：湖南大學(xué)湖南省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
插圖索引
附表索引
第1章 緒論
    1.1 研究目的及意義
    1.2 研究內(nèi)容
    1.3 本文工作
    1.4 本文組織結(jié)構(gòu)
第2章 重要知識及相關(guān)研究
    2.1 并行編程模型研究
        2.1.1 并行編程模型概述
        2.1.2 并行編程模型的現(xiàn)狀及發(fā)展趨勢
    2.2 并行程序開發(fā)模式
        2.2.1 基于共享存儲的并行編程——OpenMP
        2.2.2 基于消息傳遞的并行編程
        2.2.3 OpenMP+MPI混合編程
        2.2.4 基于數(shù)據(jù)并行的并行編程——HPF
        2.2.5 并行庫
        2.2.6 串行程序并行化
    2.3 云計算及其并行編程模型研究
        2.3.1 云計算概述
        2.3.2 云計算中并行編程模型的現(xiàn)狀及發(fā)展趨勢
    2.4 小結(jié)
第3章 MapReduce并行編程模型
    3.1 MapReduce模型產(chǎn)生的背景
    3.2 MapReduce模型的原理
    3.3 Google的MapReduce實現(xiàn)框架
    3.4 MapReduce中的shuffle分析
    3.5 MapReduce模型的實現(xiàn)
        3.5.1 Hadoop
        3.5.2 Phoenix
        3.5.3 Mars
        3.5.4 HPMR
    3.6 提高MapReduce性能的幾種技巧
        3.6.1 設(shè)置合適的map和reduce任務(wù)數(shù)量值
        3.6.2 選用最合適的Writable
        3.6.3 使用LZO壓縮
        3.6.4 添加Combiner
    3.7 小結(jié)
第4章 基于MapReduce的單源最短路徑算法的研究與實現(xiàn)
    4.1 單源最短路徑算法
        4.1.1 單源最短路徑概述
        4.1.2 傳統(tǒng)的解決方法
    4.2 相關(guān)定義描述
    4.3 關(guān)鍵問題的解決方法
    4.4 基于MapReduce的單源最短路徑算法的設(shè)計與實現(xiàn)
        4.4.1 總體設(shè)計框架
        4.4.2 Map過程
        4.4.3 Reduce過程
        4.4.4 MapReduce的迭代過程
    4.5 小結(jié)
第5章 基于MapReduce的單源最短路徑算法的性能測試
    5.1 并行算法的性能評估
        5.1.1 加速比
        5.1.2 效率
        5.1.3 可擴放性
    5.2 實驗環(huán)境
    5.3 實驗結(jié)果及其分析
        5.3.1 加速比性能測試
        5.3.2 效率性能評測
        5.3.3 可擴放性性能評測
    5.4 小結(jié)
第6章 結(jié)論
    6.1 本文總結(jié)
    6.2 未來工作及其展望
參考文獻
致謝
附錄A 攻讀碩士期間發(fā)表的論文
附錄B (攻讀碩士期間參與的項目列表)


【參考文獻】：
期刊論文
[1]數(shù)據(jù)密集型計算編程模型研究進展[J]. 王鵬,孟丹,詹劍鋒,涂碧波.  計算機研究與發(fā)展. 2010(11)
[2]云計算研究綜述及未來發(fā)展[J]. 董曉霞,呂廷杰.  北京郵電大學(xué)學(xué)報(社會科學(xué)版). 2010(05)
[3]云計算發(fā)展的國內(nèi)外對比分析[J]. 孫明俊.  電信網(wǎng)技術(shù). 2010(09)
[4]云計算體系結(jié)構(gòu)及應(yīng)用實例分析[J]. 匡勝徽,李勃.  計算機與數(shù)字工程. 2010(03)
[5]云計算下的海量數(shù)據(jù)挖掘研究[J]. 王鄂,李銘.  現(xiàn)代計算機(專業(yè)版). 2009(11)
[6]云計算:系統(tǒng)實例與研究現(xiàn)狀[J]. 陳康,鄭緯民.  軟件學(xué)報. 2009(05)
[7]基于Hadoop的海量共現(xiàn)矩陣生成方法[J]. 楊代慶,張智雄.  現(xiàn)代圖書情報技術(shù). 2009(04)
[8]并行計算的一體化研究現(xiàn)狀與發(fā)展趨勢[J]. 陳國良,孫廣中,徐云,龍柏.  科學(xué)通報. 2009(08)
[9]一種改進的MapReduce并行編程模型[J]. 周鋒,李旭偉.  科協(xié)論壇(下半月). 2009(02)
[10]淺析云計算與信息安全[J]. 謝四江,馮雁.  北京電子科技學(xué)院學(xué)報. 2008(04)

碩士論文
[1]基于MapReduce模型的并行計算平臺的設(shè)計與實現(xiàn)[D]. 萬至臻.浙江大學(xué) 2008



本文編號：3528711