【摘要】：由于超強(qiáng)的計(jì)算能力,支持大規(guī)模數(shù)據(jù)級并行程序設(shè)計(jì)以及高速的訪存帶寬等特點(diǎn),GPU集群已經(jīng)成為現(xiàn)代高性能計(jì)算的主流技術(shù)和研究熱點(diǎn)。但GPU給集群帶來了復(fù)雜的體系結(jié)構(gòu)特征,不僅在節(jié)點(diǎn)層面呈現(xiàn)異構(gòu)化,節(jié)點(diǎn)內(nèi)也呈現(xiàn)異構(gòu)化,使得集群的并行計(jì)算能力成為多層面、不同類型的特點(diǎn),包括節(jié)點(diǎn)之間,節(jié)點(diǎn)內(nèi)部CPU和GPU之間,GPU內(nèi)的數(shù)據(jù)并行,極大地增加了編程和運(yùn)行部署的復(fù)雜性。目前沒有現(xiàn)成的編程模型完全應(yīng)對這種體系結(jié)構(gòu),主流的異構(gòu)GPU集群系統(tǒng)大多采用針對GPU的異構(gòu)計(jì)算編程模型與面向分布式內(nèi)存的消息傳遞模型(MPI)松散的耦合方式,用戶將應(yīng)用描述成一系列彼此交互的MPI進(jìn)程,并部署到各個(gè)節(jié)點(diǎn)中運(yùn)行,如果MPI進(jìn)程是一個(gè)串行程序,則在節(jié)點(diǎn)中的CPU中運(yùn)行,如果MPI進(jìn)程包含數(shù)據(jù)并行處理過程,則在包含GPU的節(jié)點(diǎn)中運(yùn)行,但是這種方式將應(yīng)用如何劃分、劃分多少并行進(jìn)程缺乏依據(jù),難以保證分配給含GPU的節(jié)點(diǎn)的子任務(wù)是一個(gè)能發(fā)揮GPU計(jì)算能力的數(shù)據(jù)并行計(jì)算過程。同時(shí),MPI+CUDA本身并不是一個(gè)有著充分理論依據(jù)的計(jì)算模型,不具備可分析性。同串行執(zhí)行不同,并行、分布式執(zhí)行是一種不確定執(zhí)行,如何在各種情況下保證程序行為正確特別是不出現(xiàn)諸如死鎖、活鎖等現(xiàn)象需要編程模型具備可分析性,而這些是MPI+CUDA無法提供的。另外,在充分利用GPU集群多個(gè)層面的并行計(jì)算能力方面,由于實(shí)現(xiàn)異步控制的復(fù)雜性,MPI+CUDA的進(jìn)程之間一般通過發(fā)消息實(shí)現(xiàn)同步控制,這可能造成大量等待,嚴(yán)重影響性能；而異步控制需要程序員人工實(shí)現(xiàn)進(jìn)程間數(shù)據(jù)緩沖及復(fù)雜的上下文傳遞,使得編程非常困難。 為了解決上述問題,我們基于DFG設(shè)計(jì)和實(shí)現(xiàn)一種能契合GPU異構(gòu)集群體系結(jié)構(gòu)的新型編程框架DISPAR。DISPAR編程框架的基本思想是基于數(shù)據(jù)流模型描述應(yīng)用,引導(dǎo)用戶以數(shù)據(jù)流為核心將應(yīng)用分解成一系列以異步方式工作的VNODE,構(gòu)成數(shù)據(jù)并行子任務(wù)(進(jìn)程),發(fā)揮GPU的并行計(jì)算能力。DFG是一種主流的應(yīng)用于描述數(shù)據(jù)密集型應(yīng)用的模型,具有層次化描述能力,因此適合描述復(fù)雜的應(yīng)用,相比其它計(jì)算模型,DFG能以最自然的方式顯式表達(dá)應(yīng)用中的并行性,并且以數(shù)據(jù)為核心描述應(yīng)用,是目前公認(rèn)的最能夠體現(xiàn)應(yīng)用中數(shù)據(jù)并行性的計(jì)算模型。另外,VNODE的數(shù)據(jù)驅(qū)動(dòng)控制方式能最大程度實(shí)現(xiàn)異步并發(fā)運(yùn)行,減少因同步操作對性能的影響,各個(gè)節(jié)點(diǎn)異步運(yùn)行,摒棄全局控制和最小化同步需求。DISPAR編程框架取代了MPI編程模型中的隨意、盲目的顯式進(jìn)程劃分,自動(dòng)生成的MPI+CUDA進(jìn)程與運(yùn)行平臺之間的相關(guān)性小,帶來可移植性、可擴(kuò)展性等優(yōu)勢。 本文通過采用擴(kuò)展語言方法實(shí)現(xiàn)DISPAR編程模型,通過簡單的兩個(gè)構(gòu)件VNODE和PIPE來描述應(yīng)用程序的系統(tǒng)級結(jié)構(gòu),成為C語言的一個(gè)擴(kuò)充。DISPAR編程模型異步化子任務(wù)運(yùn)行,對基本操作進(jìn)行標(biāo)準(zhǔn)化封裝,實(shí)現(xiàn)異步控制,使得編程非常容易,實(shí)現(xiàn)異步控制的上下文、緩沖等有效封裝,使得編程容易,應(yīng)用程序簡潔。 為實(shí)現(xiàn)這種新型語言,規(guī)避了重新設(shè)計(jì)編譯器的復(fù)雜性,論文提出了一種源程序至源程序轉(zhuǎn)換方式,即StreamCC預(yù)處理器,能有效地將一個(gè)DISPAR程序轉(zhuǎn)化成一個(gè)符合一定規(guī)范的MPI+CUDA程序,為在GPU集群中有效部署和異步運(yùn)行奠定基礎(chǔ)。 實(shí)際應(yīng)用表明,DISPAR編程模型取得良好的結(jié)果。
[Abstract]:......
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP332

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張丹丹;徐磊;徐瑩;;基于“魔方”的不同編程模型下科學(xué)應(yīng)用性能比較[J];計(jì)算機(jī)工程與科學(xué);2009年S1期

2 龔強(qiáng);;網(wǎng)格編程模型及其地理空間信息網(wǎng)格技術(shù)研究綜述[J];測繪科學(xué);2011年02期

3 牛W毐，

本文編號：2290260