近年來,以多核集群為主流架構(gòu)的高性能計(jì)算機(jī)成為高性能計(jì)算的主要硬件支撐平臺(tái)。而共享變量和消息傳遞是最常用的兩類并行編程模型。但其對(duì)并行的描述與表達(dá)層次較低。開發(fā)者在使用它們時(shí),必須花費(fèi)許多時(shí)間和精力來熟悉并顯式地使用它們所提供的各種同步、通信原語,借此來組織并行任務(wù)之間的協(xié)作關(guān)系。 而MapReduce并行模型是一種高度抽象、編寫串行程序可以自動(dòng)并行運(yùn)行、編程接口簡(jiǎn)單的并行編程模型。它能使程序員在比較高的抽象層次上以一種更易理解和更易使用的方式來表述并行計(jì)算問題。HPMR是我實(shí)驗(yàn)室為了推廣MapReduce模型而設(shè)計(jì)開發(fā)的面向高性能計(jì)算的MapReduce系統(tǒng),支持大規(guī)模計(jì)算的任務(wù)分配和自動(dòng)并行。 目前HPMR的系統(tǒng)性能與直接使用MPI編程還有差距。為了使其更具有實(shí)用性,本文結(jié)合幾種常用的優(yōu)化技術(shù)對(duì)該系統(tǒng)展開優(yōu)化。主要從以下幾個(gè)方面開展工作: (1)從HPMR系統(tǒng)高性能計(jì)算程序的通信特征出發(fā),把處理器底層體系結(jié)構(gòu)中分支預(yù)測(cè)與推測(cè)執(zhí)行思想引入到HPMR的通信優(yōu)化中,設(shè)計(jì)了優(yōu)化的通信模型。 HPMR程序的通信特征是每一輪的KV傳輸以高概率使用上一輪的KV路由表。這就使得一些MR過程的KV路...

【文章頁數(shù)】：68 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
目錄
第1章 緒論
    1.1 傳統(tǒng)并行編程模型以及Mapreduce 并行模型
        1.1.1 并行計(jì)算機(jī)體系結(jié)構(gòu)
        1.1.2 傳統(tǒng)并行編程模型
        1.1.3 并行編程開發(fā)環(huán)境現(xiàn)狀及問題
    1.2 MapReduce 并行編程模型簡(jiǎn)介
        1.2.1 MapReduce 的來源
        1.2.2 MapReduce 模型的優(yōu)點(diǎn)
    1.3 HPMR 系統(tǒng)簡(jiǎn)介
        1.3.1 MapReduce 系統(tǒng)研究現(xiàn)狀
        1.3.2 HPMR 概述
        1.3.3 HPMR 執(zhí)行流程
    1.4 本文工作和章節(jié)安排
        1.4.1 本文的工作內(nèi)容
        1.4.2 本文的組織
第2章 優(yōu)化技術(shù)研究現(xiàn)狀
    2.1 概述
    2.2 串行優(yōu)化技術(shù)簡(jiǎn)介
        2.2.1 底層系統(tǒng)結(jié)構(gòu)
        2.2.2 編譯優(yōu)化
        2.2.3 程序優(yōu)化
    2.3 并行優(yōu)化技術(shù)
        2.3.1 并行優(yōu)化概述
        2.3.2 重疊技術(shù)
    2.4 并行度量模型
    2.5 本章小結(jié)
第3章 基于通信特征的HPMR 通信模型的設(shè)計(jì)
    3.1 概述
    3.2 HPMR 通信模塊介紹
    3.3 推測(cè)執(zhí)行下的通信模型的設(shè)計(jì)
        3.3.1 高性能計(jì)算的HPMR 的KV 路由變化規(guī)律
        3.3.2 推測(cè)執(zhí)行下的通信模型
    3.4 推測(cè)執(zhí)行技術(shù)的實(shí)現(xiàn)
        3.4.1 判斷推測(cè)算法
        3.4.2 推測(cè)失敗數(shù)據(jù)恢復(fù)機(jī)制
        3.4.3 推測(cè)執(zhí)行模型下對(duì)任務(wù)管理模塊的影響
    3.5 HPMR 程序的通信時(shí)間復(fù)雜度分析
    3.6 推測(cè)執(zhí)行技術(shù)下的通信性能
        3.6.1 測(cè)試平臺(tái)
        3.6.2 固定路由模式
        3.6.3 變化路由模式
    3.7 本章小結(jié)
第4章 HPMR 系統(tǒng)的內(nèi)存管理優(yōu)化
    4.1 概述
    4.2 HPMR 數(shù)據(jù)管理模塊及其缺點(diǎn)
        4.2.1 HPMR 的數(shù)據(jù)管理模塊的功能
        4.2.2 數(shù)據(jù)管理的缺點(diǎn)
    4.3 基于內(nèi)存池管理數(shù)據(jù)模塊的HPMR 設(shè)計(jì)
        4.3.1 內(nèi)存池基本數(shù)據(jù)結(jié)構(gòu)
        4.3.2 基于內(nèi)存池的數(shù)據(jù)容器
    4.4 新的數(shù)據(jù)管理模塊下HPMR 的構(gòu)建
        4.4.1 多種Data 類型的block 塊的構(gòu)建
        4.4.2 Map 和Reduce 的實(shí)現(xiàn)
        4.4.3 基于內(nèi)存池?cái)?shù)據(jù)模塊的HPMR 的數(shù)據(jù)拷貝分析
        4.4.4 數(shù)據(jù)模塊拷貝處理時(shí)間復(fù)雜度分析
    4.5 內(nèi)存池管理數(shù)據(jù)模塊的優(yōu)化效果
    4.6 本章小結(jié)
第5章 基于集群通信的KV 路由表優(yōu)化
    5.1 概述
    5.2 集群通信
        5.2.1 集群通信
        5.2.2 集群通信的優(yōu)化算法
    5.3 路由表中集群通信的識(shí)別
        5.3.1 集群通信識(shí)別
        5.3.2 集群通信識(shí)別下的KV 路由表的擴(kuò)展表示
        5.3.3 集群通信識(shí)別下的數(shù)據(jù)管理模塊的功能擴(kuò)展分析
    5.4 本章小結(jié)
第6章 結(jié)束語
    6.1 本文主要工作
    6.2 本文主要貢獻(xiàn)和創(chuàng)新點(diǎn)
    6.3 進(jìn)一步工作
參考文獻(xiàn)
附錄A 插圖索引
附錄B 表格索引
致謝
參加的科研項(xiàng)目和發(fā)表的論文



本文編號(hào)：3837598