本文關(guān)鍵詞：基于YARN的GPU集群系統(tǒng)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在CPU單核性能逐漸遇到技術(shù)瓶頸的今天，GPU作為一種高度并行化的流式處理器，在許多應(yīng)用上的計(jì)算能力已經(jīng)大幅超越CPU。加上其可編程技術(shù)的成熟，基于GPU的通用計(jì)算已經(jīng)成為一個(gè)熱門且重要的研究領(lǐng)域。與CPU相類似地，單個(gè)GPU的性能還難以完全滿足計(jì)算密集型應(yīng)用的強(qiáng)大計(jì)算力需求，GPU集群化成了必然的趨勢(shì)。然而，為每一個(gè)應(yīng)用均開發(fā)專門的GPU集群系統(tǒng)的代價(jià)過大，基于此，本文結(jié)合第二代Hadoop分布式系統(tǒng)對(duì)基于YARN的GPU集群技術(shù)進(jìn)行了分析與研究。 首先，本文通過研究YARN系統(tǒng)的組成結(jié)構(gòu)，分析了其多維資源管理的可行性，并為其進(jìn)行GPU資源調(diào)度提出了相應(yīng)的解決方案。同時(shí)，針對(duì)YARN資源調(diào)度過程和調(diào)度算法實(shí)現(xiàn)上的不足，本文結(jié)合GPU的相關(guān)特性，對(duì)相應(yīng)模塊進(jìn)行了修改與優(yōu)化，使YARN系統(tǒng)真正具備了高效地調(diào)度CPU、內(nèi)存和GPU三種資源的能力。 接著，為了使CUDA程序能夠在YARN框架中并行地運(yùn)行，本文從YARN框架的用戶接口出發(fā)，設(shè)計(jì)了具有一定針對(duì)性的CUDA應(yīng)用程序控制器，用于簡(jiǎn)化CUDA程序遷移至YARN的過程，以達(dá)到降低其并行化成本的目的。同時(shí)，針對(duì)GPU的硬件特性，本文對(duì)CUDA應(yīng)用程序控制器的任務(wù)分配策略進(jìn)行了深入的研究，以提高集群資源利用率，并為開發(fā)人員對(duì)程序進(jìn)行優(yōu)化提供科學(xué)性依據(jù)。 最后，本文通過設(shè)計(jì)多組實(shí)驗(yàn)對(duì)系統(tǒng)進(jìn)行了全方位的測(cè)試，并對(duì)結(jié)果進(jìn)行了詳細(xì)的分析。大量的實(shí)驗(yàn)數(shù)據(jù)表明，本文的設(shè)計(jì)能夠在復(fù)雜的異構(gòu)環(huán)境下快速地構(gòu)建高效穩(wěn)定的和優(yōu)良可擴(kuò)展的多維資源彈性計(jì)算平臺(tái)。
【關(guān)鍵詞】：GPU集群 YARN CUDA 并行計(jì)算
【學(xué)位授予單位】：中山大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP332
【目錄】：

• 摘要3-4
• Abstract4-7
• 第1章 引言7-10
• 1.1 課題背景簡(jiǎn)介7
• 1.2 領(lǐng)域研究現(xiàn)狀與本文相關(guān)工作7-9
• 1.3 段落結(jié)構(gòu)9-10
• 第2章 背景10-18
• 2.1 HADOOP 框架及 YARN 簡(jiǎn)介10-12
• 2.2 CUDA 并行架構(gòu)及其編程模型簡(jiǎn)介12-14
• 2.3 CUDA 并行化實(shí)踐14-17
• 2.4 本章小結(jié)17-18
• 第3章 基于 YARN 的 GPU 資源調(diào)度18-29
• 3.1 YARN 基本架構(gòu)18-20
• 3.2 資源表示模型20-21
• 3.3 資源調(diào)度模型21-26
• 3.4 資源調(diào)度算法26-28
• 3.5 本章小結(jié)28-29
• 第4章 YARN 框架下的 CUDA 應(yīng)用程序控制器29-38
• 4.1 CLIENT 和 APPLICATIONMASTER 概述29-31
• 4.2 CUDAAPPLICATIONMASTER 設(shè)計(jì)31-33
• 4.3 動(dòng)態(tài)任務(wù)分配策略33-34
• 4.4 最優(yōu)分割34-37
• 4.5 本章小結(jié)37-38
• 第5章 基于 YARN 的 GPU 集群系統(tǒng)38-42
• 5.1 GPU 計(jì)算設(shè)備的動(dòng)態(tài)綁定38-40
• 5.2 系統(tǒng)總體運(yùn)行過程40-42
• 第6章 實(shí)驗(yàn)結(jié)果與分析42-51
• 6.1 系統(tǒng)部署環(huán)境和 CUDA 程序樣例42-44
• 6.2 擴(kuò)展性實(shí)驗(yàn)44-48
• 6.3 DRF 有效性實(shí)驗(yàn)48-49
• 6.4 穩(wěn)定性和容錯(cuò)性實(shí)驗(yàn)49-50
• 6.5 本章小結(jié)50-51
• 第7章 總結(jié)與展望51-53
• 7.1 文章總結(jié)51-52
• 7.2 工作展望52-53
• 參考文獻(xiàn)53-56
• 致謝56-57
• 成果清單57

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 劉曉平;王啟駿;陳皓;張乃釗;;基于距離的點(diǎn)光源軟陰影GPU生成方法[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年12期

2 郭云;康濤;徐涵;;基于優(yōu)化存儲(chǔ)的嵌入式GPU的字符顯示[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2012年10期

3 本刊編輯部;;加州大學(xué)圣地亞哥分校使用GPU超級(jí)計(jì)算機(jī)實(shí)現(xiàn)千萬億次級(jí)地震模擬[J];科研信息化技術(shù)與應(yīng)用;2013年02期

4 許建;林泳;秦勇;黃翰;;基于GPU的并行協(xié)同過濾算法[J];計(jì)算機(jī)應(yīng)用研究;2013年09期

5 技術(shù)宅;;GPU通用計(jì)算解密[J];電腦愛好者;2014年02期

6 陸筱霞;段光明;李思昆;;基于GPU的遙感紋理壓縮解壓算法[J];系統(tǒng)仿真學(xué)報(bào);2009年S1期

7 詹總謙;盧亮;;基于GPU并行處理技術(shù)的影像畸變差修正[J];測(cè)繪信息與工程;2011年02期

8 張浩;李利軍;林嵐;;GPU的通用計(jì)算應(yīng)用研究[J];計(jì)算機(jī)與數(shù)字工程;2005年12期

9 謝洪濤;高科;張勇東;李錦濤;劉毅志;;基于GPU的快速圖像拷貝檢測(cè)[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2010年09期

10 丁鵬;賈月樂;張靜;張巖;;GPU結(jié)構(gòu)與通用計(jì)算探析[J];技術(shù)與市場(chǎng);2009年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前4條

1 夏青;岳利群;;基于GPU編程的海浪仿真技術(shù)研究[A];2007系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2007年

2 劉小虎;胡耀國(guó);符偉;;大規(guī)模有限元系統(tǒng)的GPU加速計(jì)算研究[A];中國(guó)計(jì)算力學(xué)大會(huì)'2010（CCCM2010）暨第八屆南方計(jì)算力學(xué)學(xué)術(shù)會(huì)議（SCCM8）論文集[C];2010年

3 張迪;黃偉;羅琦;王侃;;波形板干燥器內(nèi)液滴數(shù)值模擬的GPU并行加速[A];第十六屆全國(guó)流體力學(xué)數(shù)值方法研討會(huì)2013論文集[C];2013年

4 李慧;付志一;;基于GPU計(jì)算的有限元總剛組成方法探索[A];北京力學(xué)會(huì)第17屆學(xué)術(shù)年會(huì)論文集[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前7條

1 本報(bào)記者 劉燕;GPU加速是手機(jī)瀏覽器方向[N];科技日?qǐng)?bào);2012年

2 ;GPU，智能手機(jī)好推手[N];電腦報(bào);2013年

3 諸玲珍;NVIDIA推0.13微米GPU[N];中國(guó)電子報(bào);2002年

4 網(wǎng)絡(luò)世界記者 周源;曙光三款GPU服務(wù)器問世[N];網(wǎng)絡(luò)世界;2013年

5 ;GPU市場(chǎng)Q2創(chuàng)八年最大增幅[N];計(jì)算機(jī)世界;2009年

6 小溪 編譯;NVIDIA唱響GPU統(tǒng)一架構(gòu)時(shí)代序曲[N];計(jì)算機(jī)世界;2006年

7 沈陽 劉鏑;GPU：給顯卡一顆驛動(dòng)的“芯”[N];電腦報(bào);2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 陳鋼;眾核GPU體系結(jié)構(gòu)相關(guān)技術(shù)研究[D];復(fù)旦大學(xué);2011年

2 劉華海;節(jié)點(diǎn)內(nèi)多CPU多GPU協(xié)同并行繪制關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

3 白洪濤;基于GPU的高性能并行算法研究[D];吉林大學(xué);2010年

4 林一松;面向GPU的低功耗軟件優(yōu)化關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 韋婷;基于GPU的自然場(chǎng)景渲染優(yōu)化技術(shù)研究[D];廣西大學(xué);2013年

2 梅世冬;實(shí)時(shí)陰影繪制方法研究及GPU加速[D];華中師范大學(xué);2010年

3 李軍;基于GPU的大規(guī)模場(chǎng)景實(shí)時(shí)陰影繪制[D];湖南大學(xué);2011年

4 晏福興;基于GPU的軟陰影技術(shù)的研究[D];杭州電子科技大學(xué);2009年

5 明星;基于GPU的醫(yī)學(xué)圖像三維重建算法及其應(yīng)用[D];華中科技大學(xué);2009年

6 馬鳴飛;基于GPU加速的三維超聲成像系統(tǒng)[D];哈爾濱工業(yè)大學(xué);2011年

7 蘇金洲;基于粒子濾波的檢測(cè)前跟蹤算法研究及在GPU平臺(tái)上的實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 范希賢;基于GPU的并行排序?qū)W習(xí)算法研究[D];哈爾濱工業(yè)大學(xué);2012年

9 彭紹鑫;基于GPU的硬件加速方法及其在積分方程數(shù)值解中的應(yīng)用[D];電子科技大學(xué);2008年

10 劉偉;基于圖譜配準(zhǔn)的肝臟CT三維自動(dòng)分割研究及GPU加速平臺(tái)實(shí)現(xiàn)[D];南京郵電大學(xué);2011年

  本文關(guān)鍵詞：基于YARN的GPU集群系統(tǒng)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：487729