發(fā)布時間：2018-03-14 13:30

  本文選題：MapReduce　切入點：Hadoop框架　出處：《信陽師范學院學報(自然科學版)》2015年03期 　論文類型：期刊論文

【摘要】：針對云計算環(huán)境下很難確定出有助于實現(xiàn)良好性能的Hadoop參數(shù)集的問題,設計了一種MapReduce模擬器.首先,對Hadoop的各種參數(shù)進行建模;然后,集群讀取元件從集群中讀取參數(shù),從而創(chuàng)建模擬的Hadoop集群環(huán)境;最后,利用作業(yè)跟蹤器跟蹤模擬的作業(yè),并利用任務跟蹤器運行單個任務.所設計的模擬器從多角度研究Hadoop應用的性能,集中模擬Hadoop的映射和化簡行為,彌補了MRPerf設計的不足.在基準測試結果和用戶自定義MapReduce應用中驗證了模擬器的有效性.
[Abstract]:In order to solve the problem that it is difficult to determine the Hadoop parameter set which is helpful to achieve good performance in cloud computing environment, a MapReduce simulator is designed. Firstly, the various parameters of Hadoop are modeled; then, the cluster reading component reads the parameters from the cluster. Finally, the simulated job tracker is used to track the simulated jobs, and the task tracker is used to run a single task. The simulator is designed to study the performance of the Hadoop application from various angles. The mapping and simplification behavior of Hadoop is simulated centrally, which makes up for the deficiency of MRPerf design. The validity of simulator is verified in benchmark test results and user-defined MapReduce applications.
【作者單位】： 平頂山學院軟件學院;
【基金】：國家自然科學基金項目(61103143) 河南省科技計劃項目(134300510037) 平頂山學院青年科研基金項目(QNJJ-2013010)
【分類號】：TP337

【參考文獻】

相關期刊論文 前3條

1 潘巍;李戰(zhàn)懷;伍賽;陳群;;基于消息傳遞機制的MapReduce圖算法研究[J];計算機學報;2011年10期

2 鄧傳華;范通讓;高峰;;Hadoop下基于統(tǒng)計最優(yōu)的資源調(diào)度算法[J];計算機應用研究;2013年02期

3 陳吉榮;樂嘉錦;;基于MapReduce的Hadoop大表導入編程模型[J];計算機應用;2013年09期

【共引文獻】

相關期刊論文 前10條

1 王宇燦;李一飛;袁勤儉;;國際大數(shù)據(jù)研究熱點及前沿演化可視化分析[J];工程研究-跨學科視野中的工程;2014年03期

2 孫趙旭;謝曉蘭;周國清;倪金生;胡莘;;基于Hadoop的Apriori算法與實現(xiàn)[J];桂林理工大學學報;2014年03期

3 冷泳林;申華;魯富宇;;基于P-Rank的RDF有向圖的分布式存儲[J];重慶理工大學學報(自然科學);2015年01期

4 孟祥萍;周來;王暉;紀秀;;基于hadoop云平臺的智能電網(wǎng)MapReduce數(shù)據(jù)計算技術研究[J];電測與儀表;2015年10期

5 梁秋實;吳一雷;封磊;;基于MapReduce的微博用戶搜索排名算法[J];計算機應用;2012年11期

6 靳朋飛;曹菡;余婧;崔云飛;;MapReduce模型下Voronoi圖柵格生成算法[J];計算機科學與探索;2013年02期

7 劉樹仁;宋亞奇;朱永利;王德文;;基于Hadoop的智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)存儲研究[J];計算機科學;2013年01期

8 趙保學;李戰(zhàn)懷;陳群;潘巍;姜濤;金健;;基于共享的MapReduce多查詢優(yōu)化技術[J];計算機應用研究;2013年05期

9 呂雪棟;馮志勇;王鑫;饒國政;付宇新;;StepMatch:一種基于BSP計算模型的SPARQL基本圖模式匹配算法[J];計算機研究與發(fā)展;2013年S2期

10 朱立紅;楊鶴標;;海量結構化數(shù)據(jù)查詢系統(tǒng)的研究與實現(xiàn)[J];計算機應用與軟件;2014年02期

相關會議論文 前1條

1 潘巍;李戰(zhàn)懷;陳群;索博;李衛(wèi)榜;;面向MapReduce的非對稱分片復制連接算法優(yōu)化技術研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

相關博士學位論文 前1條

1 于樂;社會網(wǎng)絡中社團發(fā)現(xiàn)及網(wǎng)絡演化分析[D];北京郵電大學;2014年

相關碩士學位論文 前10條

1 周俊;基于頭型沖擊器的行人頭部保護研究及其局限性探討[D];湖南大學;2012年

2 周俊清;基于Hadoop平臺的分布式任務調(diào)度算法研究[D];湖南大學;2012年

3 楊婷;基于MapReduce的好友推薦系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學;2013年

4 魏炎炎;異構Hadoop平臺性能分析及其調(diào)度算法優(yōu)化研究[D];合肥工業(yè)大學;2013年

5 郭德鋒;基于Hadoop的云平臺模型的性能研究與優(yōu)化[D];西北大學;2013年

6 李步源;基于云計算的協(xié)同過濾算法并行化研究[D];鄭州大學;2013年

7 周飛鳳;MapReduce在科學計算中的研究與改進[D];安徽大學;2013年

8 黨曉;基于MapReduce的對稱可搜索加密方案[D];西安電子科技大學;2013年

9 鄧傳華;Hadoop云平臺下作業(yè)與資源調(diào)度機制的改進研究[D];石家莊鐵道大學;2013年

10 劉沖;MapReduce作業(yè)調(diào)度算法研究[D];哈爾濱工程大學;2013年

【二級參考文獻】

相關期刊論文 前2條

1 王珊;王會舉;覃雄派;周p，

本文編號：1611419