機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和數(shù)據(jù)分析工具的最新研究進(jìn)展對現(xiàn)有的計算系統(tǒng)和體系結(jié)構(gòu)提出了新的要求和挑戰(zhàn)。為解決此問題,Spark開源大數(shù)據(jù)計算框架應(yīng)運(yùn)而生,它擴(kuò)展了早前Map-Reduce編程框架,通過基于內(nèi)存的計算模式,解決了Map-Reduce框架容錯性差、I/O操作負(fù)載過高等性能瓶頸,優(yōu)化了大數(shù)據(jù)計算中的批處理、交互查詢和流式計算等核心問題,并與Hadoop及其生態(tài)圈完美兼容。當(dāng)下,Spark受限于CPU有限的運(yùn)算效率和內(nèi)存空間,其應(yīng)用需求與系統(tǒng)性能間差異日益加大,以CPU作為Spark的計算平臺已無法滿足高效運(yùn)算的需求。而GPU較之CPU在高性能并行計算領(lǐng)域存在先天性的優(yōu)勢,通過利用GPU上的并行計算資源可大力提升Spark系統(tǒng)的任務(wù)處理效率。本文在深入理解Spark計算框架優(yōu)勢的基礎(chǔ)上,實(shí)現(xiàn)了Spark框架下GPU并行計算的系統(tǒng)性能分析和流程建模。目前,針對基于GPU的Spark計算框架性能建模工作尚處于初始階段,為了深層次地挖掘與分析基于GPU的Spark計算框架,因此本文提出了基于排隊(duì)論的Spark+GPU系統(tǒng)建模方法,量化研究了Spark計算系統(tǒng)性能與GPU資源利用之間的相互關(guān)系... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

CPU-GPU結(jié)構(gòu)示意圖

圖 1-1 CPU-GPU 結(jié)構(gòu)示意圖（2）成本低。GPU 在設(shè)計時專注于浮點(diǎn)計算，回避了與浮點(diǎn)計算無關(guān)的類似分支、邏輯控制等其他復(fù)雜功能，因此在制造成本上比較低。眾核 GPU 協(xié)處理器僅需0 的成本即可達(dá)到與多核 CPU 同等的浮點(diǎn)運(yùn)算能力。（3）功耗小。大量的輕量級微處理器單元集成在 GPU 上，微處理單元僅做浮點(diǎn)計時鐘頻率較小，所以功耗極小。比如 NVIDIATesla K20c GPU 在其滿載運(yùn)轉(zhuǎn)時提供 2Tflops 單精度浮點(diǎn)運(yùn)算能力而功耗卻僅為 150W，休眠狀態(tài)幾乎沒有功耗。（4）普及率高。絕大多數(shù) PC 上都可以安裝 GPU 產(chǎn)品，GPU 產(chǎn)品體系非常完善，品價格從數(shù)百到上萬元不等，任何人都能根據(jù)自己的經(jīng)濟(jì)實(shí)力購買合適的 GPU。

圖 2-1 Spark 任務(wù)執(zhí)行模型.2 Spark 作業(yè)執(zhí)行機(jī)制Spark 作業(yè)執(zhí)行機(jī)制中有以下相關(guān)概念。Job：用戶提交的作業(yè)。當(dāng) RDD 及其 DAG 被提交給 DAGScheduler 調(diào)度后，Scheduler 會將所有 RDD 中的轉(zhuǎn)換及動作視為一個 Job。一個 Job 由一到多個 Tas。對于 job，Spark 是串行執(zhí)行的，如果想要并行執(zhí)行 Job，可以在 Spark 程序中進(jìn)線程編程。Stage：Job 的執(zhí)行階段。DAGScheduler 按照 ShuffleDependency 作為 Stage 的劃分對 RDD 的 DAG 進(jìn)行 Stage 劃分（上游的 Stage 將為 ShuffleMapStage）。因此一個可能被劃分為一到多個 Stage。Stage 分為 ShuffleMapStage 和 ResultStage 兩種。Task：運(yùn)行在 Executor 上的工作單元，用來具體執(zhí)行任務(wù)。一個 Job 在每個 Stag會按照RDD的Partition數(shù)量，創(chuàng)建多個Task。Task分為ShuffleMapTask和ResultTas。

【參考文獻(xiàn)】：
期刊論文
[1]云計算中基于M/Geom/C/∞排隊(duì)系統(tǒng)的任務(wù)調(diào)度模型研究[J]. 甘娜,黃裕鋒,陸曉梅.  計算機(jī)測量與控制. 2018(03)
[2]基于排隊(duì)論的云應(yīng)用性能模型研究[J]. 陳玉洪.  電子世界. 2018(03)
[3]云計算中一種基于排隊(duì)論的資源分配方案[J]. 戴慶龍,李建武.  無線電通信技術(shù). 2017(05)
[4]基于優(yōu)先排隊(duì)論網(wǎng)絡(luò)延遲云計算資源調(diào)度算法[J]. 崔建明,劉佳祎,楊呈永.  桂林理工大學(xué)學(xué)報. 2017(02)
[5]基于GPU的Spark大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室的開發(fā)應(yīng)用[J]. 周情濤,何軍,胡昭華.  實(shí)驗(yàn)室研究與探索. 2017(01)
[6]基于M/M/n/n排隊(duì)系統(tǒng)的動態(tài)數(shù)據(jù)庫連接池[J]. 毛云峰,邵劍飛.  新技術(shù)新工藝. 2016(10)
[7]基于排隊(duì)理論的云計算中心性能分析模型[J]. 廖倩文,潘久輝,王開杰.  計算機(jī)工程. 2015(09)
[8]使用確定隨機(jī)Petri網(wǎng)對Hadoop公平調(diào)度的建模和性能分析[J]. 何華,林闖,趙增華,龐善臣.  計算機(jī)應(yīng)用. 2015(05)
[9]基于M/M/n/n+r排隊(duì)模型的云計算中心服務(wù)性能分析[J]. 何懷文,傅瑜,楊毅紅,肖濤.  計算機(jī)應(yīng)用. 2014(07)

博士論文
[1]內(nèi)存計算框架性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 卞琛.新疆大學(xué) 2017
[2]分布式數(shù)據(jù)處理系統(tǒng)中作業(yè)性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 劉俊.重慶大學(xué) 2016

碩士論文
[1]Hadoop平臺性能建模與優(yōu)化技術(shù)研究[D]. 陳翔.北京工業(yè)大學(xué) 2017
[2]基于Spark的數(shù)據(jù)分析建模工具的設(shè)計與實(shí)現(xiàn)[D]. 牛倩.華北電力大學(xué)(北京) 2016
[3]云計算環(huán)境中多MapReduce作業(yè)動態(tài)資源分配方法的研究[D]. 王昊.東北大學(xué) 2014
[4]基于大數(shù)據(jù)的Hadoop并行計算優(yōu)化處理性能分析[D]. 姚吉龍.南京郵電大學(xué) 2014
[5]M/M/n/n排隊(duì)模型在多線程網(wǎng)絡(luò)服務(wù)軟件系統(tǒng)中的應(yīng)用研究[D]. 劉云杰.重慶師范大學(xué) 2009



本文編號：2976691