本文關(guān)鍵詞：Hadoop中MapReduce的性能優(yōu)化及可視化工具開發(fā)

  更多相關(guān)文章： 云計算 Hadoop MapReduce 性能優(yōu)化 可視化

【摘要】：MapReduce是對海量數(shù)據(jù)并行處理的編程模型,云計算中的很多重要問題比如搜索引擎服務(wù)、龐大的科學(xué)計算任務(wù),海量數(shù)據(jù)的挖掘等都可以通過MapReduce來解決,MapReduce編程模型在云計算中起著至關(guān)重要的作用。隨著MapReduce越來越多的應(yīng)用到各個領(lǐng)域,MapReduce的性能問題也得到了學(xué)者的關(guān)注,同時隨著可視化技術(shù)的發(fā)展,性能優(yōu)化過程和結(jié)果的可視化、學(xué)習(xí)過程可視化等問題也成了近幾年的研究熱點。Hadoop作為Google公司Map Reduce編程模型最受歡迎的Java開源實現(xiàn),使之成為研究MapReduce最重要的平臺,本文的性能優(yōu)化及可視化工具的開發(fā)就是基于此平臺展開研究的。Hadoop平臺在運算過程中作業(yè)的調(diào)度方式起著至關(guān)重要的作用,一個好的作業(yè)調(diào)度算法可以使作業(yè)被執(zhí)行的順序、資源被分配的情況更加科學(xué)高效,可以提高Hadoop平臺的計算性能和資源使用率。首先,在性能優(yōu)化方面,本文對傳統(tǒng)的FIFO算法(First In First Out)進行了研究,發(fā)現(xiàn)它沒有很好地實現(xiàn)數(shù)據(jù)的本地性,作業(yè)規(guī)模很小時會出現(xiàn)數(shù)據(jù)本地性明顯不好的問題,故對FIFO算法進行了改進以提高數(shù)據(jù)本地性。其次,搭建了Hadoop云計算平臺,對文中改進的算法和原始的FIFO算法進行了對比實驗和結(jié)果分析,結(jié)果表明改進的算法提高了作業(yè)的數(shù)據(jù)本地性,節(jié)省了本地任務(wù)的數(shù)據(jù)傳輸時間,從而減少了所有作業(yè)的總完成時間：提高了系統(tǒng)的吞吐率。在可視化方面,本文開發(fā)了可視化工具,分別應(yīng)用在性能可視化、學(xué)習(xí)可視化兩個方面。(1)性能可視化：本文基于以上研究結(jié)果,將性能優(yōu)化結(jié)果的可視化加入了Hadoop可視化管理平臺,從而開發(fā)出一款基于性能優(yōu)化的可視化工具,使用戶可以對結(jié)果數(shù)據(jù)進行可視化操作,該模塊支持用戶選擇不同的展現(xiàn)形式,不同的展示平臺等。同時為了兼容更多地性能優(yōu)化方法,通過暴露接口的方式支持功能的擴展。(2)學(xué)習(xí)可視化：本文面向云計算學(xué)習(xí)者,開發(fā)了一款可視化學(xué)習(xí)工具——云計算虛擬實驗教學(xué)系統(tǒng)。系統(tǒng)中包含12個云計算系列實驗,主要分為云計算基礎(chǔ)知識類和實踐交互類,并將這些實驗以虛擬化的方式展現(xiàn)出來。在實驗設(shè)計中充分發(fā)揮虛擬實驗的交互性、沉浸性和想象性的優(yōu)勢,彌補課堂和實驗教學(xué)的不足,打破空間與時間的限制,幫助學(xué)生了解云計算的基礎(chǔ)知識與Hadoop的基本組成和技術(shù)原理。虛擬實驗開發(fā)采用Java技術(shù)與Flash技術(shù)相結(jié)合的方式,并用視頻加以佐證,使學(xué)生在實驗前能夠充分了解實驗的所有細節(jié)。更重要的是,實驗?zāi)M了一些常見的錯誤,并給出了處理方法,使同學(xué)們在進行實驗時能夠及時應(yīng)對這些錯誤,避免實際操作時對實驗設(shè)備造成損害。
【關(guān)鍵詞】：云計算 Hadoop MapReduce 性能優(yōu)化 可視化
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 致謝5-6
• 摘要6-8
• ABSTRACT8-13
• 1 引言13-18
• 1.1 研究背景與意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-16
• 1.2.1 MapReduce性能分析及優(yōu)化14-16
• 1.2.2 基于Hadoop平臺的可視化工具16
• 1.3 研究內(nèi)容16-17
• 1.4 論文結(jié)構(gòu)17-18
• 2 相關(guān)技術(shù)與現(xiàn)有調(diào)度算法18-36
• 2.1 HADOOP簡介18-26
• 2.1.1 HDFS分布式文件系統(tǒng)19-22
• 2.1.2 MapReduce計算框架22-26
• 2.1.3 本地化計算26
• 2.2 HADOOP調(diào)度算法26-29
• 2.2.1 FIFO調(diào)度算法26-27
• 2.2.2 Hadoop On Demand(HOD)27-28
• 2.2.3 計算能力調(diào)度算法(Capacity Scheduler)28
• 2.2.4 公平份額調(diào)度算法(Fair Scheduler)28-29
• 2.3 基于HADOOP的可視化技術(shù)研究29-35
• 2.3.1 非程序式可視化工具30-32
• 2.3.2 程序式可視化工具32-34
• 2.3.3 基于Hadoop的可視化工具34-35
• 2.4 本章小結(jié)35-36
• 3 FIFO算法的研究與改進36-45
• 3.1 FIFO算法分析36-37
• 3.2 算法目標(biāo)37
• 3.3 算法設(shè)計37-40
• 3.3.1 算法基本思想37-38
• 3.3.2 作業(yè)閾值的設(shè)置38
• 3.3.3 算法的具體步驟38-40
• 3.4 實驗平臺搭建40-43
• 3.4.1 集群配置方案40
• 3.4.2 Hadoop配置與安裝40-43
• 3.5 實驗結(jié)果及分析43-44
• 3.6 本章小結(jié)44-45
• 4 基于性能優(yōu)化的可視化工具45-52
• 4.1 需求分析45-46
• 4.2 總體設(shè)計架構(gòu)46-47
• 4.3 界面設(shè)計及效果47-49
• 4.4 性能優(yōu)化結(jié)果的圖表展示49-51
• 4.5 本章小結(jié)51-52
• 5 可視化學(xué)習(xí)工具52-64
• 5.1 界面設(shè)計52-53
• 5.2 實驗內(nèi)容介紹53-56
• 5.2.1 理論部分54
• 5.2.2 實踐部分54-56
• 5.3 實驗環(huán)境56
• 5.3.1 虛擬實驗環(huán)境56
• 5.3.2 現(xiàn)實實驗環(huán)境56
• 5.4 技術(shù)實現(xiàn)56-63
• 5.4.1 Swing組件56-57
• 5.4.2 DJNativeSwing-SWT-1-0-2組件57-59
• 5.4.3 虛擬技術(shù)的實現(xiàn)59-62
• 5.4.4 存儲結(jié)構(gòu)62-63
• 5.5 本章小結(jié)63-64
• 6 總結(jié)與展望64-66
• 6.1 研究總結(jié)64
• 6.2 研究展望64-66
• 參考文獻66-70
• 作者簡歷及攻讀碩士學(xué)位期間取得的研究成果70-72
• 學(xué)位論文數(shù)據(jù)集72

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫的性能優(yōu)化問題[J];科技信息(學(xué)術(shù)研究);2007年34期

2 ;簡單易用網(wǎng)絡(luò)性能優(yōu)化軟件[J];網(wǎng)絡(luò)與信息;1999年10期

3 袁山龍,吳潔明;證券網(wǎng)上集中交易系統(tǒng)性能優(yōu)化的研究與應(yīng)用[J];微計算機應(yīng)用;2003年05期

4 張建華;王群華;;對系統(tǒng)性能優(yōu)化的十點辨析[J];計算機系統(tǒng)應(yīng)用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫的性能優(yōu)化問題分析[J];電腦知識與技術(shù);2008年15期

6 王保平;;性能優(yōu)化的簡單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導(dǎo)入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識與技術(shù)(經(jīng)驗技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風(fēng);2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問題研究[J];科技致富向?qū)?2013年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫性能優(yōu)化方案[A];中國計量協(xié)會冶金分會2007年會論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊系統(tǒng)的性能優(yōu)化[A];第二十二屆中國控制會議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國煉鋼連鑄過程自動化技術(shù)交流會論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃氣壓縮式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國制冷學(xué)會2007學(xué)術(shù)年會論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];科技、工程與經(jīng)濟社會協(xié)調(diào)發(fā)展——中國科協(xié)第五屆青年學(xué)術(shù)年會論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過程在緊致行動集上的性能優(yōu)化[A];第二十一屆中國控制會議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];鐵道部信息技術(shù)中心成立30周年暨鐵路運輸管理信息系統(tǒng)（TMIS）工程全面竣工投產(chǎn)TMIS工程建設(shè)論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];中國鐵道學(xué)會——2004年度學(xué)術(shù)活動優(yōu)秀論文評獎?wù)撐募痆C];2005年

9 杜勁松;李強;包勁松;;國產(chǎn)600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];2008中國可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強;包勁松;;國產(chǎn)600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];全國火電大機組（600MW級）競賽第十二屆年會論文集（上冊）[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國計算機報;2007年

2 本報記者 郭平;EMC簡單高效實現(xiàn)私有云[N];計算機世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護[N];人民郵電;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 陳偉鋒;大規(guī)模復(fù)雜過程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學(xué);2011年

2 李磊;分布式系統(tǒng)中容錯機制性能優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

3 賈海鵬;面向GPU計算平臺的若干并行優(yōu)化關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2012年

4 那俊;基于兩階段適應(yīng)的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學(xué);2011年

5 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學(xué);2006年

6 何倩;P2P系統(tǒng)性能優(yōu)化若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

7 毛宏燕;基于部分計值的服務(wù)性能優(yōu)化研究[D];上海交通大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 鄒興偉;防偽纖維熒光檢測儀性能優(yōu)化研究[D];西南科技大學(xué);2015年

2 邱能俊;科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D];貴州大學(xué);2015年

3 陳俊t，

本文編號：975699