本文關鍵詞：基于GPU運算的MARS框架的分析與研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網的飛速發(fā)展,網絡資源包含了越來越多各種類型的數(shù)據與信息,人們對大數(shù)據處理的需求也越來越迫切。服務器CPU性能與IO吞吐量對處理大數(shù)據來說都至關重要,但就傳統(tǒng)的技術架構與單臺計算機串行處理模式來說,其存儲空間、容錯性、數(shù)據訪問速度與處理速度都遠遠達不到人們對大數(shù)據的處理要求。并行和分布式計算是解決大規(guī)模數(shù)據處理的有效手段�，F(xiàn)存的幾種基于Mapreduce的并行處理框架如Hadoop、Spark、Disco等都是利用CPU對數(shù)據進行并行處理,但是由于CPU內核數(shù)量和內存容量的制約,想利用核數(shù)有限的CPU對巨大的數(shù)據進行并行計算,其性能必定受到限制,但是若將并行計算的部分移植到可以分配大量線程的GPU上進行則可以進一步提高并行度和數(shù)據處理效率,加快數(shù)據處理速度。MARS框架是一種基于GPU的Map/Reduce框架。在Mars框架中,將數(shù)據以key/value對的形式輸入到主存儲器中,對數(shù)據開始進行處理時,為Map任務和Reduce任務初始化大量的GPU線程,為每個線程分配少量且盡量等量的key/value對進行處理,使得GPU的每個線程能夠負載均衡,使對大量數(shù)據的處理性能達到最優(yōu)化,以此提升對大數(shù)據的處理效率。本文通過以Mars框架為研究對象,以Mars框架實現(xiàn)數(shù)據處理功能為重點研究內容,分析Mars框架的設計理念與實現(xiàn)方法,并詳細解析MARS所實現(xiàn)的七項數(shù)據處理功能,實現(xiàn)應用案例的運行。具體研究工作如下:1.總結和分析現(xiàn)有的幾種大數(shù)據處理框架包括Hadoop、Spark、Disco數(shù)據處理框架,并比較幾種框架的優(yōu)缺點;2.對MARS框架所涉及到的一些架構與平臺的詳細介紹,包括GPU、CUDA、MapReduce等;3.分析MARS框架的設計與實現(xiàn),包括MARS框架的設計目標、工作流程、參數(shù)配置、接口設計、關鍵技術等;4.詳細解析MARS所實現(xiàn)的七項數(shù)據處理實例,包括詞頻統(tǒng)計、字符串匹配、網頁訪問量排序、網頁訪問量計數(shù)、矩陣乘法、倒排索引、相似性評估7項應用,還原實驗配置過程,實現(xiàn)應用實例在Linux系統(tǒng)下的運行,演示實驗結果。
【關鍵詞】：大數(shù)據 并行處理 Map/Reduce GPU運算
【學位授予單位】：河南大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP332
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 1 緒論10-18
• 1.1 研究背景及研究意義10-11
• 1.2 所做工作及創(chuàng)新點11-12
• 1.3 國內外研究現(xiàn)狀12-17
• 1.3.1 Hadoop數(shù)據處理框架12-13
• 1.3.2 Spark數(shù)據處理框架13-14
• 1.3.3 Disco數(shù)據處理框架14-15
• 1.3.4 MARS數(shù)據處理框架15
• 1.3.5 四種框架的優(yōu)缺點對比分析15-17
• 1.4 本文章節(jié)安排17
• 1.5 本章小結17-18
• 2 背景技術18-26
• 2.1 GPU18-21
• 2.1.1 GPU簡介18
• 2.1.2 GPU核心架構18-20
• 2.1.3 GPU線程20-21
• 2.2 CUDA21-23
• 2.2.1 CUDA簡介21
• 2.2.2 CUDA執(zhí)行模型21-22
• 2.2.3 CUDA C語言22-23
• 2.3 MAPREDUCE23-25
• 2.3.1 MAPREDUCE簡介23
• 2.3.2 MAPREDUCE工作流程23-24
• 2.3.3 MAPREDUCE Shuffle處理24-25
• 2.4 本章小結25-26
• 3 MARS整體框架介紹26-34
• 3.1 MARS框架簡介26
• 3.2 MARS框架實現(xiàn)目標26-27
• 3.3 MARS框架工作流程27-28
• 3.4 MARS框架參數(shù)配置28
• 3.5 MARS框架內存分配28-29
• 3.6 MARS框架接口設計29-31
• 3.7 MARS框架關鍵技術31-32
• 3.7.1 線程并行化31
• 3.7.2 合并訪問31
• 3.7.3 使用內置向量進行訪問31-32
• 3.7.4 處理大小可變的數(shù)據32
• 3.7.5 排序32
• 3.7.6 文件處理32
• 3.8 本章小結32-34
• 4 MARS框架的實現(xiàn)34-44
• 4.1 整體框架結構34-35
• 4.2 MARS框架功能模塊35-42
• 4.2.1 預處理模塊35-37
• 4.2.2 排序模塊37-39
• 4.2.3 GPU運算模塊39-41
• 4.2.4 自定義模塊41-42
• 4.3 MARS框架數(shù)據流圖42-43
• 4.4 MARS框架總體流程圖43-44
• 5 MARS框架應用及結果展示44-50
• 5.1 MARS框架應用案例44-45
• 5.2 實驗部署及結果展示45-50
• 5.2.1 實驗部署45-46
• 5.2.2 實驗結果展示46-50
• 6 總結與展望50-52
• 參考文獻52-54
• 致謝54-56
• 攻讀學位期間參與的科研項目56-57

【相似文獻】

中國期刊全文數(shù)據庫 前10條

1 袁琰,田懷鳳,杜波,陸汝占;基于框架的對話管理模型的研究與實現(xiàn)[J];計算機工程;2005年13期

2 王春林;耿祥義;;淺析Struts2框架[J];現(xiàn)代經濟信息;2009年04期

3 杜遠坤;張躍虎;;基于J2EE框架的高校課程設置系統(tǒng)[J];福建電腦;2011年05期

4 林守勛,郭玉釵,林宗楷;分布式集成化CAD系統(tǒng)框架[J];計算機輔助設計與圖形學學報;1998年06期

5 劉和洋;王健華;黃永紅;丁春玲;;基于Web的政務系統(tǒng)通用框架的研究與實現(xiàn)[J];計算機工程;2006年14期

6 盧捍華;王亞石;閔麗娟;黃震奇;;基于NGOSS的OSS/BSS框架[J];電信科學;2009年10期

7 劉曉峰;;Struts1框架與Struts2框架的對比分析[J];電大理工;2010年02期

8 劉開茗;陳利國;;一種基于GWT的Web應用開發(fā)框架原理與實現(xiàn)[J];科技致富向導;2011年33期

9 陳鑫;陳曉輝;;基于Spring框架與Hibernate,Struts的整合研究[J];廣西輕工業(yè);2008年03期

10 趙耀培;;一種基于GWT的Web應用開發(fā)框架原理與實現(xiàn)[J];信息技術與信息化;2012年03期

中國重要會議論文全文數(shù)據庫 前3條

1 王紅雁;岳建偉;李連東;孫新生;魏錕;;框架基礎形式的選取[A];河南省土木建筑學會2010年學術大會論文集[C];2010年

2 蔡輝;高嵩;沃偉峰;劉高平;;基于MICAPS3框架的SWAN客戶端平臺設計與開發(fā)[A];第27屆中國氣象學會年會雷達技術開發(fā)與應用分會場論文集[C];2010年

3 蔣帆;周鳳星;;基于JSF框架的備件流程管理系統(tǒng)開發(fā)[A];全國冶金自動化信息網2009年會論文集[C];2009年

中國重要報紙全文數(shù)據庫 前1條

1 清華大學 謝曉芹 柳西玲;讓設計與分析重用[N];計算機世界;2002年

中國博士學位論文全文數(shù)據庫 前1條

1 由麗萍;構建現(xiàn)代漢語框架語義知識庫技術研究[D];上海師范大學;2006年

中國碩士學位論文全文數(shù)據庫 前10條

1 林玉珍;有限維Hilbert空間中緊框架的構造[D];福州大學;2014年

2 呂新宇;基于GPU運算的MARS框架的分析與研究[D];河南大學;2016年

3 楊新勤;緊框架的構造及其在編碼中的應用[D];湘潭大學;2011年

4 余啟超;塑料廠高壓循環(huán)氣框架減振技術研究[D];華南理工大學;2011年

5 杜小剛;J2EE Web應用開發(fā)框架的設計與實現(xiàn)[D];國防科學技術大學;2006年

6 查偉忠;中小型辦公自動化系統(tǒng)框架的設計和實現(xiàn)[D];蘇州大學;2005年

7 李強;一種可伸縮Web框架的研究與實現(xiàn)[D];電子科技大學;2008年

8 蔡暉;類土質邊坡錨索框架（地梁）內力計算模式研究[D];同濟大學;2006年

9 許文君;小額支付平臺新框架的設計與實現(xiàn)[D];北京郵電大學;2008年

10 康賢昆;PHP開發(fā)框架的研究與實現(xiàn)[D];天津大學;2007年

  本文關鍵詞：基于GPU運算的MARS框架的分析與研究，，由筆耕文化傳播整理發(fā)布。

本文編號：266263