本文關(guān)鍵詞：MapReduce型海量數(shù)據(jù)處理平臺中數(shù)據(jù)放置技術(shù)研究

  更多相關(guān)文章： MapReduce HDFS 副本放置 灰色預(yù)測 CloudSim

【摘要】：MapReduce型數(shù)據(jù)處理平臺(以下簡稱“Map Reduce平臺”)是海量數(shù)據(jù)處理領(lǐng)域的最新技術(shù)之一。數(shù)據(jù)本地化處理是MapReduce平臺的新特征,即將海量數(shù)據(jù)基于計算節(jié)點的本地磁盤分布存儲且計算任務(wù)盡可能被調(diào)度到數(shù)據(jù)所在節(jié)點運行,從而降低數(shù)據(jù)處理中數(shù)據(jù)遠程訪問導(dǎo)致的通信開銷,提高處理效率。因此,提升數(shù)據(jù)本地化處理幾率是MapReduce平臺追求的重要目標。數(shù)據(jù)放置是數(shù)據(jù)處理平臺的核心技術(shù)之一,實現(xiàn)將數(shù)據(jù)在平臺所有存儲節(jié)點間合理有效地分布存儲。與傳統(tǒng)數(shù)據(jù)處理平臺不同,海量數(shù)據(jù)基于計算節(jié)點存儲及數(shù)據(jù)本地化處理的新特征使得MapReduce平臺中數(shù)據(jù)放置決策不僅需要服務(wù)于數(shù)據(jù)存儲效率,更需要服務(wù)于數(shù)據(jù)計算效率。既有的數(shù)據(jù)放置技術(shù)多以提升數(shù)據(jù)訪問效率,減少數(shù)據(jù)I/O瓶頸為目標。上述技術(shù)運用于MapReduce平臺,由于未考慮數(shù)據(jù)存儲節(jié)點的計算負載特征,難以避免將熱點數(shù)據(jù)存儲于高計算負載的節(jié)點,從而導(dǎo)致數(shù)據(jù)本地化處理幾率降低的問題。本文針對上述問題,開展以提升數(shù)據(jù)本地化處理幾率為目標的MapReduce平臺數(shù)據(jù)放置技術(shù)研究,通過在數(shù)據(jù)放置決策中引入數(shù)據(jù)塊副本被本地化訪問的比例、計算節(jié)點剩余計算資源等新因素,提升數(shù)據(jù)處理效率。本文的主要貢獻包括:(1)定義了數(shù)據(jù)放置決策信息集。針對MapReduce平臺的新特征,本文定義了數(shù)據(jù)放置決策所需要的信息集,在該信息集中首次引入了數(shù)據(jù)塊副本的訪問頻次、數(shù)據(jù)塊副本被本地化訪問的比例和節(jié)點的剩余計算資源等信息,作為數(shù)據(jù)放置新的決策因子。(2)設(shè)計并實現(xiàn)了決策信息獲取機制。本文定義了數(shù)據(jù)放置的決策信息獲取機制,包括信息采集、信息統(tǒng)計與預(yù)測和信息匯總。設(shè)計了基于主從結(jié)構(gòu)的決策信息獲取框架,將信息采集和統(tǒng)計預(yù)測功能分離于平臺各個計算節(jié)點(從節(jié)點)完成,中心節(jié)點僅完成信息匯總功能,降低中心節(jié)點的負載壓力。同時,本文設(shè)計了基于灰色預(yù)測模型的決策信息預(yù)測機制。(3)設(shè)計并實現(xiàn)了既有數(shù)據(jù)塊副本放置的動態(tài)調(diào)整策略。分析決策因子與數(shù)據(jù)塊副本及數(shù)據(jù)節(jié)點的關(guān)系,設(shè)計了數(shù)據(jù)塊副本評價值及節(jié)點評價值的計算方法。根據(jù)評價值篩選得到待遷移的數(shù)據(jù)塊副本集合和遷移目標候選節(jié)點的集合,以兼顧系統(tǒng)的容錯能力并最大化數(shù)據(jù)塊副本的本地化訪問幾率為目標,重新放置數(shù)據(jù)塊副本。(4)設(shè)計并實現(xiàn)了新增數(shù)據(jù)塊副本的放置策略。在向分布式文件系統(tǒng)中寫數(shù)據(jù)時,從機架隨機選擇出候選節(jié)點集合,向候選節(jié)點集合中剩余資源最多的節(jié)點放置數(shù)據(jù)塊副本,提高該數(shù)據(jù)塊副本被本地化訪問的幾率,同時主動地調(diào)整了各節(jié)點的存儲資源使用量。(5)搭建仿真環(huán)境并完成性能測試。對仿真軟件CloudSim進行擴展,配置了由上百個節(jié)點構(gòu)成的MapReduce仿真平臺。在相同的作業(yè)和數(shù)據(jù)提交量下,對改進的數(shù)據(jù)塊副本放置策略與HDFS默認數(shù)據(jù)副本放置策略在作業(yè)平均執(zhí)行時間等多個指標上進行了性能對比。結(jié)果表明,本文提出的數(shù)據(jù)塊副本放置技術(shù)使得作業(yè)平均執(zhí)行時間平均下降了12.03%.
【關(guān)鍵詞】：MapReduce HDFS 副本放置 灰色預(yù)測 CloudSim
【學位授予單位】：北京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-6
• Abstract6-10
• 第1章 緒論10-16
• 1.1 研究背景及研究意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.3 論文研究內(nèi)容及主要貢獻13-14
• 1.4 論文的組織結(jié)構(gòu)14-16
• 第2章 相關(guān)技術(shù)分析16-26
• 2.1 MapReduce型數(shù)據(jù)處理平臺16-18
• 2.1.1 MapReduce編程模型16-17
• 2.1.2 數(shù)據(jù)本地化17-18
• 2.2 大數(shù)據(jù)計算平臺Hadoop18-21
• 2.2.1 Hadoop概述18-19
• 2.2.2 Hadoop的資源申請與數(shù)據(jù)本地化19-20
• 2.2.3 分布式文件系統(tǒng)HDFS20-21
• 2.3 HDFS數(shù)據(jù)塊副本放置策略21-24
• 2.3.1 HDFS默認的數(shù)據(jù)塊副本放置策略21-22
• 2.3.2 HDFS改進的數(shù)據(jù)塊副本放置策略22-24
• 2.4 本章小結(jié)24-26
• 第3章 MapReduce平臺中數(shù)據(jù)放置架構(gòu)設(shè)計26-32
• 3.1 數(shù)據(jù)副本放置的總體架構(gòu)設(shè)計26-28
• 3.2 決策信息獲取的架構(gòu)設(shè)計28-29
• 3.3 數(shù)據(jù)塊副本動態(tài)調(diào)整的架構(gòu)設(shè)計29-30
• 3.4 新增數(shù)據(jù)塊副本放置的架構(gòu)設(shè)計30
• 3.5 本章小結(jié)30-32
• 第4章 MapReduce平臺中數(shù)據(jù)放置決策信息獲取機制設(shè)計32-42
• 4.1 決策信息定義與決策信息獲取流程32-34
• 4.2 決策信息存儲結(jié)構(gòu)34-36
• 4.2.1 數(shù)據(jù)塊副本訪問信息存儲結(jié)構(gòu)設(shè)計34-35
• 4.2.2 節(jié)點剩余資源信息存儲結(jié)構(gòu)設(shè)計35-36
• 4.3 決策信息的采集與統(tǒng)計36-39
• 4.3.1 數(shù)據(jù)塊副本的訪問信息的采集與統(tǒng)計36-38
• 4.3.2 節(jié)點剩余資源信息的采集與統(tǒng)計38-39
• 4.4 決策信息的預(yù)測39-41
• 4.5 本章小結(jié)41-42
• 第5章 MapReduce平臺中數(shù)據(jù)放置策略的設(shè)計42-48
• 5.1 數(shù)據(jù)塊副本動態(tài)調(diào)整策略42-46
• 5.1.2 待遷移數(shù)據(jù)塊副本的選擇42-43
• 5.1.3 數(shù)據(jù)塊副本遷移目標節(jié)點的選擇43-46
• 5.2 新增數(shù)據(jù)塊副本放置策略46-47
• 5.3 本章小結(jié)47-48
• 第6章 性能測評48-62
• 6.1 CloudSim的擴展48-50
• 6.1.1 CloudSim概述48
• 6.1.2 HDFS的CloudSim擴展實現(xiàn)48-50
• 6.1.3 MapReduce的CloudSim擴展實現(xiàn)50
• 6.2 仿真實驗50-60
• 6.2.1 實驗環(huán)境搭建50-52
• 6.2.2 評價指標52
• 6.2.3 實驗環(huán)境配置52-53
• 6.2.4 性能測評與結(jié)果分析53-60
• 6.3 本章小結(jié)60-62
• 結(jié)論62-64
• 參考文獻64-68
• 攻讀碩士學位期間獲得的科研成果68-70
• 致謝70

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃衛(wèi)軍;口岸城市通關(guān)數(shù)據(jù)處理平臺[J];上海信息化;2005年01期

2 林華兵;;數(shù)據(jù)處理平臺高可靠性的設(shè)計與實現(xiàn)[J];中國金融電腦;2010年11期

3 胡繼軍;;淺談統(tǒng)計部門在數(shù)據(jù)處理平臺設(shè)計中應(yīng)考慮的問題[J];現(xiàn)代經(jīng)濟信息;2012年14期

4 王業(yè)斌;;省級防雷業(yè)務(wù)數(shù)據(jù)處理平臺的開發(fā)[J];科技信息;2009年30期

5 龔一飛;劉萬才;;農(nóng)作物有害生物調(diào)查項目數(shù)據(jù)處理平臺的構(gòu)建與實現(xiàn)[J];中國植保導(dǎo)刊;2012年03期

6 邢煜;;一種海量數(shù)據(jù)處理平臺的解決方案[J];電腦知識與技術(shù);2013年21期

7 蔡玉寶;左春;張正;鄒志強;;數(shù)據(jù)處理平臺的研究與實現(xiàn)[J];計算機工程與設(shè)計;2008年07期

8 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

9 宋均;祝林;;基于云計算的海量數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[J];電訊技術(shù);2012年04期

10 楊凱;曹小軍;盧鶯;;控制系統(tǒng)數(shù)據(jù)處理平臺開發(fā)與應(yīng)用[J];彈箭與制導(dǎo)學報;2009年04期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 王業(yè)斌;徐建鵬;王凱;;安徽省常規(guī)防雷業(yè)務(wù)服務(wù)數(shù)據(jù)處理平臺的開發(fā)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（一）[C];2005年

2 季曉林;劉海硯;;基于數(shù)據(jù)處理平臺的空間矢量數(shù)據(jù)融合[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

3 趙旭霞;劉立峰;邵起明;;智能路測系統(tǒng)中的數(shù)據(jù)處理平臺[A];2006通信理論與技術(shù)新進展——第十一屆全國青年通信學術(shù)會議論文集[C];2006年

4 張鵬;;基于XML/Java的數(shù)據(jù)處理平臺[A];Java技術(shù)及應(yīng)用的進展——第八屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2005年

5 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 陶金花;蘇林;李樹楷;;一種基于網(wǎng)格的LiDAR數(shù)據(jù)處理平臺架構(gòu)[A];2007年先進激光技術(shù)發(fā)展與應(yīng)用研討會論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 本報記者 劉書臻;山東：數(shù)據(jù)處理平臺建成[N];中國信息報;2011年

2 楊小國;“四大工程”助推普查資料開發(fā)提速[N];中國信息報;2012年

3 董平;創(chuàng)新,永不止步[N];中國國門時報;2011年

4 《網(wǎng)絡(luò)世界》記者 李夏艷;直面無線挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2012年

5 ;“康師傅”喜新厭舊[N];網(wǎng)絡(luò)世界;2002年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 張利平;基于MPC8536的雷達嵌入式數(shù)據(jù)處理平臺設(shè)計[D];電子科技大學;2015年

2 潘思聰;基于云環(huán)境的電信數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D];上海交通大學;2014年

3 嚴華;統(tǒng)計局數(shù)據(jù)處理平臺的設(shè)計和實現(xiàn)[D];電子科技大學;2014年

4 張波;基于大數(shù)據(jù)技術(shù)的公安移動通信數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)[D];山東大學;2016年

5 周碧漳;面向量化交易的金融數(shù)據(jù)處理平臺研究與原型實現(xiàn)[D];電子科技大學;2016年

6 張杰;面向車載信息的大規(guī)模數(shù)據(jù)處理平臺技術(shù)研究[D];電子科技大學;2016年

7 王華慈;MapReduce型海量數(shù)據(jù)處理平臺中數(shù)據(jù)放置技術(shù)研究[D];北京工業(yè)大學;2016年

8 樊明璐;流式大數(shù)據(jù)處理平臺中資源動態(tài)調(diào)度技術(shù)研究[D];北京工業(yè)大學;2016年

9 楊鵬;面向流式數(shù)據(jù)處理平臺JStorm的負載均衡技術(shù)研究[D];北京工業(yè)大學;2016年

10 但玻;城市熱島效應(yīng)衛(wèi)星遙感數(shù)據(jù)處理平臺研發(fā)[D];電子科技大學;2011年

，

本文編號：741564