發(fā)布時間：2017-03-24 22:14

  本文關(guān)鍵詞：基于GPU運算的MARS框架的分析與研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡(luò)資源包含了越來越多各種類型的數(shù)據(jù)與信息,人們對大數(shù)據(jù)處理的需求也越來越迫切。服務(wù)器CPU性能與IO吞吐量對處理大數(shù)據(jù)來說都至關(guān)重要,但就傳統(tǒng)的技術(shù)架構(gòu)與單臺計算機串行處理模式來說,其存儲空間、容錯性、數(shù)據(jù)訪問速度與處理速度都遠(yuǎn)遠(yuǎn)達(dá)不到人們對大數(shù)據(jù)的處理要求。并行和分布式計算是解決大規(guī)模數(shù)據(jù)處理的有效手段�，F(xiàn)存的幾種基于Mapreduce的并行處理框架如Hadoop、Spark、Disco等都是利用CPU對數(shù)據(jù)進(jìn)行并行處理,但是由于CPU內(nèi)核數(shù)量和內(nèi)存容量的制約,想利用核數(shù)有限的CPU對巨大的數(shù)據(jù)進(jìn)行并行計算,其性能必定受到限制,但是若將并行計算的部分移植到可以分配大量線程的GPU上進(jìn)行則可以進(jìn)一步提高并行度和數(shù)據(jù)處理效率,加快數(shù)據(jù)處理速度。MARS框架是一種基于GPU的Map/Reduce框架。在Mars框架中,將數(shù)據(jù)以key/value對的形式輸入到主存儲器中,對數(shù)據(jù)開始進(jìn)行處理時,為Map任務(wù)和Reduce任務(wù)初始化大量的GPU線程,為每個線程分配少量且盡量等量的key/value對進(jìn)行處理,使得GPU的每個線程能夠負(fù)載均衡,使對大量數(shù)據(jù)的處理性能達(dá)到最優(yōu)化,以此提升對大數(shù)據(jù)的處理效率。本文通過以Mars框架為研究對象,以Mars框架實現(xiàn)數(shù)據(jù)處理功能為重點研究內(nèi)容,分析Mars框架的設(shè)計理念與實現(xiàn)方法,并詳細(xì)解析MARS所實現(xiàn)的七項數(shù)據(jù)處理功能,實現(xiàn)應(yīng)用案例的運行。具體研究工作如下:1.總結(jié)和分析現(xiàn)有的幾種大數(shù)據(jù)處理框架包括Hadoop、Spark、Disco數(shù)據(jù)處理框架,并比較幾種框架的優(yōu)缺點;2.對MARS框架所涉及到的一些架構(gòu)與平臺的詳細(xì)介紹,包括GPU、CUDA、MapReduce等;3.分析MARS框架的設(shè)計與實現(xiàn),包括MARS框架的設(shè)計目標(biāo)、工作流程、參數(shù)配置、接口設(shè)計、關(guān)鍵技術(shù)等;4.詳細(xì)解析MARS所實現(xiàn)的七項數(shù)據(jù)處理實例,包括詞頻統(tǒng)計、字符串匹配、網(wǎng)頁訪問量排序、網(wǎng)頁訪問量計數(shù)、矩陣乘法、倒排索引、相似性評估7項應(yīng)用,還原實驗配置過程,實現(xiàn)應(yīng)用實例在Linux系統(tǒng)下的運行,演示實驗結(jié)果。
【關(guān)鍵詞】：大數(shù)據(jù) 并行處理 Map/Reduce GPU運算
【學(xué)位授予單位】：河南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP332
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 1 緒論10-18
• 1.1 研究背景及研究意義10-11
• 1.2 所做工作及創(chuàng)新點11-12
• 1.3 國內(nèi)外研究現(xiàn)狀12-17
• 1.3.1 Hadoop數(shù)據(jù)處理框架12-13
• 1.3.2 Spark數(shù)據(jù)處理框架13-14
• 1.3.3 Disco數(shù)據(jù)處理框架14-15
• 1.3.4 MARS數(shù)據(jù)處理框架15
• 1.3.5 四種框架的優(yōu)缺點對比分析15-17
• 1.4 本文章節(jié)安排17
• 1.5 本章小結(jié)17-18
• 2 背景技術(shù)18-26
• 2.1 GPU18-21
• 2.1.1 GPU簡介18
• 2.1.2 GPU核心架構(gòu)18-20
• 2.1.3 GPU線程20-21
• 2.2 CUDA21-23
• 2.2.1 CUDA簡介21
• 2.2.2 CUDA執(zhí)行模型21-22
• 2.2.3 CUDA C語言22-23
• 2.3 MAPREDUCE23-25
• 2.3.1 MAPREDUCE簡介23
• 2.3.2 MAPREDUCE工作流程23-24
• 2.3.3 MAPREDUCE Shuffle處理24-25
• 2.4 本章小結(jié)25-26
• 3 MARS整體框架介紹26-34
• 3.1 MARS框架簡介26
• 3.2 MARS框架實現(xiàn)目標(biāo)26-27
• 3.3 MARS框架工作流程27-28
• 3.4 MARS框架參數(shù)配置28
• 3.5 MARS框架內(nèi)存分配28-29
• 3.6 MARS框架接口設(shè)計29-31
• 3.7 MARS框架關(guān)鍵技術(shù)31-32
• 3.7.1 線程并行化31
• 3.7.2 合并訪問31
• 3.7.3 使用內(nèi)置向量進(jìn)行訪問31-32
• 3.7.4 處理大小可變的數(shù)據(jù)32
• 3.7.5 排序32
• 3.7.6 文件處理32
• 3.8 本章小結(jié)32-34
• 4 MARS框架的實現(xiàn)34-44
• 4.1 整體框架結(jié)構(gòu)34-35
• 4.2 MARS框架功能模塊35-42
• 4.2.1 預(yù)處理模塊35-37
• 4.2.2 排序模塊37-39
• 4.2.3 GPU運算模塊39-41
• 4.2.4 自定義模塊41-42
• 4.3 MARS框架數(shù)據(jù)流圖42-43
• 4.4 MARS框架總體流程圖43-44
• 5 MARS框架應(yīng)用及結(jié)果展示44-50
• 5.1 MARS框架應(yīng)用案例44-45
• 5.2 實驗部署及結(jié)果展示45-50
• 5.2.1 實驗部署45-46
• 5.2.2 實驗結(jié)果展示46-50
• 6 總結(jié)與展望50-52
• 參考文獻(xiàn)52-54
• 致謝54-56
• 攻讀學(xué)位期間參與的科研項目56-57

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 袁琰,田懷鳳,杜波,陸汝占;基于框架的對話管理模型的研究與實現(xiàn)[J];計算機工程;2005年13期

2 王春林;耿祥義;;淺析Struts2框架[J];現(xiàn)代經(jīng)濟信息;2009年04期

3 杜遠(yuǎn)坤;張躍虎;;基于J2EE框架的高校課程設(shè)置系統(tǒng)[J];福建電腦;2011年05期

4 林守勛,郭玉釵,林宗楷;分布式集成化CAD系統(tǒng)框架[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;1998年06期

5 劉和洋;王健華;黃永紅;丁春玲;;基于Web的政務(wù)系統(tǒng)通用框架的研究與實現(xiàn)[J];計算機工程;2006年14期

6 盧捍華;王亞石;閔麗娟;黃震奇;;基于NGOSS的OSS/BSS框架[J];電信科學(xué);2009年10期

7 劉曉峰;;Struts1框架與Struts2框架的對比分析[J];電大理工;2010年02期

8 劉開茗;陳利國;;一種基于GWT的Web應(yīng)用開發(fā)框架原理與實現(xiàn)[J];科技致富向?qū)?2011年33期

9 陳鑫;陳曉輝;;基于Spring框架與Hibernate,Struts的整合研究[J];廣西輕工業(yè);2008年03期

10 趙耀培;;一種基于GWT的Web應(yīng)用開發(fā)框架原理與實現(xiàn)[J];信息技術(shù)與信息化;2012年03期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 王紅雁;岳建偉;李連東;孫新生;魏錕;;框架基礎(chǔ)形式的選取[A];河南省土木建筑學(xué)會2010年學(xué)術(shù)大會論文集[C];2010年

2 蔡輝;高嵩;沃偉峰;劉高平;;基于MICAPS3框架的SWAN客戶端平臺設(shè)計與開發(fā)[A];第27屆中國氣象學(xué)會年會雷達(dá)技術(shù)開發(fā)與應(yīng)用分會場論文集[C];2010年

3 蔣帆;周鳳星;;基于JSF框架的備件流程管理系統(tǒng)開發(fā)[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 清華大學(xué) 謝曉芹 柳西玲;讓設(shè)計與分析重用[N];計算機世界;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 由麗萍;構(gòu)建現(xiàn)代漢語框架語義知識庫技術(shù)研究[D];上海師范大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 林玉珍;有限維Hilbert空間中緊框架的構(gòu)造[D];福州大學(xué);2014年

2 呂新宇;基于GPU運算的MARS框架的分析與研究[D];河南大學(xué);2016年

3 楊新勤;緊框架的構(gòu)造及其在編碼中的應(yīng)用[D];湘潭大學(xué);2011年

4 余啟超;塑料廠高壓循環(huán)氣框架減振技術(shù)研究[D];華南理工大學(xué);2011年

5 杜小剛;J2EE Web應(yīng)用開發(fā)框架的設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2006年

6 查偉忠;中小型辦公自動化系統(tǒng)框架的設(shè)計和實現(xiàn)[D];蘇州大學(xué);2005年

7 李強;一種可伸縮Web框架的研究與實現(xiàn)[D];電子科技大學(xué);2008年

8 蔡暉;類土質(zhì)邊坡錨索框架（地梁）內(nèi)力計算模式研究[D];同濟大學(xué);2006年

9 許文君;小額支付平臺新框架的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2008年

10 康賢昆;PHP開發(fā)框架的研究與實現(xiàn)[D];天津大學(xué);2007年

  本文關(guān)鍵詞：基于GPU運算的MARS框架的分析與研究，，由筆耕文化傳播整理發(fā)布。

本文編號：266263