發(fā)布時(shí)間：2018-03-14 13:30

  本文選題：MapReduce　切入點(diǎn)：Hadoop框架　出處：《信陽(yáng)師范學(xué)院學(xué)報(bào)(自然科學(xué)版)》2015年03期 　論文類(lèi)型：期刊論文

【摘要】：針對(duì)云計(jì)算環(huán)境下很難確定出有助于實(shí)現(xiàn)良好性能的Hadoop參數(shù)集的問(wèn)題,設(shè)計(jì)了一種MapReduce模擬器.首先,對(duì)Hadoop的各種參數(shù)進(jìn)行建模;然后,集群讀取元件從集群中讀取參數(shù),從而創(chuàng)建模擬的Hadoop集群環(huán)境;最后,利用作業(yè)跟蹤器跟蹤模擬的作業(yè),并利用任務(wù)跟蹤器運(yùn)行單個(gè)任務(wù).所設(shè)計(jì)的模擬器從多角度研究Hadoop應(yīng)用的性能,集中模擬Hadoop的映射和化簡(jiǎn)行為,彌補(bǔ)了MRPerf設(shè)計(jì)的不足.在基準(zhǔn)測(cè)試結(jié)果和用戶(hù)自定義MapReduce應(yīng)用中驗(yàn)證了模擬器的有效性.
[Abstract]:In order to solve the problem that it is difficult to determine the Hadoop parameter set which is helpful to achieve good performance in cloud computing environment, a MapReduce simulator is designed. Firstly, the various parameters of Hadoop are modeled; then, the cluster reading component reads the parameters from the cluster. Finally, the simulated job tracker is used to track the simulated jobs, and the task tracker is used to run a single task. The simulator is designed to study the performance of the Hadoop application from various angles. The mapping and simplification behavior of Hadoop is simulated centrally, which makes up for the deficiency of MRPerf design. The validity of simulator is verified in benchmark test results and user-defined MapReduce applications.
【作者單位】： 平頂山學(xué)院軟件學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61103143) 河南省科技計(jì)劃項(xiàng)目(134300510037) 平頂山學(xué)院青年科研基金項(xiàng)目(QNJJ-2013010)
【分類(lèi)號(hào)】：TP337

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 潘巍;李戰(zhàn)懷;伍賽;陳群;;基于消息傳遞機(jī)制的MapReduce圖算法研究[J];計(jì)算機(jī)學(xué)報(bào);2011年10期

2 鄧傳華;范通讓;高峰;;Hadoop下基于統(tǒng)計(jì)最優(yōu)的資源調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2013年02期

3 陳吉榮;樂(lè)嘉錦;;基于MapReduce的Hadoop大表導(dǎo)入編程模型[J];計(jì)算機(jī)應(yīng)用;2013年09期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王宇燦;李一飛;袁勤儉;;國(guó)際大數(shù)據(jù)研究熱點(diǎn)及前沿演化可視化分析[J];工程研究-跨學(xué)科視野中的工程;2014年03期

2 孫趙旭;謝曉蘭;周?chē)?guó)清;倪金生;胡莘;;基于Hadoop的Apriori算法與實(shí)現(xiàn)[J];桂林理工大學(xué)學(xué)報(bào);2014年03期

3 冷泳林;申華;魯富宇;;基于P-Rank的RDF有向圖的分布式存儲(chǔ)[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué));2015年01期

4 孟祥萍;周來(lái);王暉;紀(jì)秀;;基于hadoop云平臺(tái)的智能電網(wǎng)MapReduce數(shù)據(jù)計(jì)算技術(shù)研究[J];電測(cè)與儀表;2015年10期

5 梁秋實(shí);吳一雷;封磊;;基于MapReduce的微博用戶(hù)搜索排名算法[J];計(jì)算機(jī)應(yīng)用;2012年11期

6 靳朋飛;曹菡;余婧;崔云飛;;MapReduce模型下Voronoi圖柵格生成算法[J];計(jì)算機(jī)科學(xué)與探索;2013年02期

7 劉樹(shù)仁;宋亞奇;朱永利;王德文;;基于Hadoop的智能電網(wǎng)狀態(tài)監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)研究[J];計(jì)算機(jī)科學(xué);2013年01期

8 趙保學(xué);李戰(zhàn)懷;陳群;潘巍;姜濤;金健;;基于共享的MapReduce多查詢(xún)優(yōu)化技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2013年05期

9 呂雪棟;馮志勇;王鑫;饒國(guó)政;付宇新;;StepMatch:一種基于BSP計(jì)算模型的SPARQL基本圖模式匹配算法[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

10 朱立紅;楊鶴標(biāo);;海量結(jié)構(gòu)化數(shù)據(jù)查詢(xún)系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2014年02期

相關(guān)會(huì)議論文 前1條

1 潘巍;李戰(zhàn)懷;陳群;索博;李衛(wèi)榜;;面向MapReduce的非對(duì)稱(chēng)分片復(fù)制連接算法優(yōu)化技術(shù)研究[A];第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

相關(guān)博士學(xué)位論文 前1條

1 于樂(lè);社會(huì)網(wǎng)絡(luò)中社團(tuán)發(fā)現(xiàn)及網(wǎng)絡(luò)演化分析[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 周俊;基于頭型沖擊器的行人頭部保護(hù)研究及其局限性探討[D];湖南大學(xué);2012年

2 周俊清;基于Hadoop平臺(tái)的分布式任務(wù)調(diào)度算法研究[D];湖南大學(xué);2012年

3 楊婷;基于MapReduce的好友推薦系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

4 魏炎炎;異構(gòu)Hadoop平臺(tái)性能分析及其調(diào)度算法優(yōu)化研究[D];合肥工業(yè)大學(xué);2013年

5 郭德鋒;基于Hadoop的云平臺(tái)模型的性能研究與優(yōu)化[D];西北大學(xué);2013年

6 李步源;基于云計(jì)算的協(xié)同過(guò)濾算法并行化研究[D];鄭州大學(xué);2013年

7 周飛鳳;MapReduce在科學(xué)計(jì)算中的研究與改進(jìn)[D];安徽大學(xué);2013年

8 黨曉;基于MapReduce的對(duì)稱(chēng)可搜索加密方案[D];西安電子科技大學(xué);2013年

9 鄧傳華;Hadoop云平臺(tái)下作業(yè)與資源調(diào)度機(jī)制的改進(jìn)研究[D];石家莊鐵道大學(xué);2013年

10 劉沖;MapReduce作業(yè)調(diào)度算法研究[D];哈爾濱工程大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王珊;王會(huì)舉;覃雄派;周p，

本文編號(hào)：1611419