【摘要】：針對合理管理MapReduce作業(yè)內(nèi)存資源困難的問題,提出評估方法并給出優(yōu)化配置建議。首先分析Java虛擬機(jī)的內(nèi)存分配與垃圾回收的原理,給出垃圾回收重要指標(biāo);其次提出內(nèi)存分配合理性評估的3種指標(biāo)和評估方法;最后根據(jù)評估結(jié)果給出2種優(yōu)化配置建議:一是通過使用聚類算法和統(tǒng)計(jì)信息來估計(jì)晉升對象大小閾值,優(yōu)化Java虛擬機(jī)的對象分配和垃圾回收性能;二是使用回歸模型和搜索算法來預(yù)測作業(yè)合理的內(nèi)存配置。實(shí)驗(yàn)結(jié)果表明,提出的方法能自動發(fā)現(xiàn)作業(yè)內(nèi)存配置的不足并給出優(yōu)化的配置建議。與采用機(jī)器學(xué)習(xí)方法相比,提出的方法不需要運(yùn)行大量的測試,因此該方法能很好適用于MapReduce的生產(chǎn)集群環(huán)境。
[Abstract]:Aiming at the difficulty of reasonably managing the memory resources of MapReduce jobs, this paper puts forward an evaluation method and gives some suggestions for optimizing configuration. Firstly, the principle of memory allocation and garbage collection of Java virtual machine is analyzed, and the important indexes of garbage collection are given. Finally, two kinds of optimal configuration suggestions are given according to the evaluation results: first, the threshold of promotion object size is estimated by using clustering algorithm and statistical information, and the object allocation and garbage collection performance of Java virtual machine are optimized; Second, the regression model and search algorithm are used to predict the reasonable memory allocation of the job. The experimental results show that the proposed method can automatically detect the shortcomings of job memory configuration and give the optimized configuration suggestions. Compared with the machine learning method, the proposed method does not need to run a lot of tests, so this method can be applied to the production cluster environment of MapReduce.
【作者單位】： 四川大學(xué)計(jì)算機(jī)學(xué)院網(wǎng)絡(luò)與可信計(jì)算研究所;
【基金】：國家科技支撐計(jì)劃資助項(xiàng)目(2012BAH18B05)
【分類號】：TP333.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 周世龍;陳興蜀;羅永剛;;基于灰盒模型的Hadoop MapReduce job參數(shù)性能分析與預(yù)測[J];四川大學(xué)學(xué)報(bào)(工程科學(xué)版);2014年S1期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;天津:將建電子垃圾回收中心[J];中國信息界;2005年16期

2 馬安嶺;陳德平;;淺談垃圾回收機(jī)制[J];儀器儀表用戶;2006年06期

3 孫青;鄭永果;;MS.NET FRAMEWORK垃圾回收算法的實(shí)現(xiàn)研究[J];福建電腦;2006年08期

4 冉彥中;張智剛;曹婧華;楊可揚(yáng);;C#垃圾回收機(jī)制驗(yàn)證實(shí)驗(yàn)的設(shè)計(jì)與實(shí)現(xiàn)[J];長春師范學(xué)院學(xué)報(bào);2013年10期

5 黃昆;;電子垃圾回收產(chǎn)業(yè)化之路[J];中國計(jì)算機(jī)用戶;2008年23期

6 暢鵬;;分布式垃圾回收算法分析[J];太原大學(xué)學(xué)報(bào);2010年04期

7 劉云生;呂志華;;嵌入式實(shí)時(shí)垃圾回收機(jī)制的分析與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2006年08期

8 張鵬飛;錢敏;;Java垃圾回收新算法芻探[J];微型機(jī)與應(yīng)用;2011年02期

9 阿濤;電子垃圾回收期待產(chǎn)業(yè)化[J];數(shù)碼世界;2003年03期

10 武新麗;;淺談.NET Framework中的垃圾回收機(jī)制[J];廊坊師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年05期

相關(guān)會議論文 前4條

1 袁偉東;楊謙;;運(yùn)用生活垃圾回收生物技術(shù)改造西部土壤[A];民革全國西部大開發(fā)研討會論文集[C];2000年

2 柯建飛;;電子垃圾回收立法動向探微[A];水污染防治立法和循環(huán)經(jīng)濟(jì)立法研究——2005年全國環(huán)境資源法學(xué)研討會論文集（第二冊）[C];2005年

3 張姝妍;;關(guān)于電子垃圾回收處理對策的研究[A];中國環(huán)境保護(hù)優(yōu)秀論文集（2005）（下冊）[C];2005年

4 鄭良楷;霍霞;李燕;韓岱;顧成武;陳剛建;劉俊曉;陳松建;;電子垃圾回收拆解區(qū)兒童血鉛鎘水平及ALAD基因多態(tài)性研究[A];2007年中國解剖學(xué)會第十屆全國組織學(xué)與胚胎學(xué)青年學(xué)術(shù)研討會論文摘要匯編[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 劉友存;氣動垃圾回收系統(tǒng)成為韓國新的鋼管消費(fèi)領(lǐng)域[N];中國冶金報(bào);2007年

2 記者　 項(xiàng)文淵 盧慶紅;石筧鄉(xiāng)建起垃圾回收站[N];麗水日報(bào);2006年

3 國富;珠海垃圾回收業(yè)如何發(fā)展？[N];珠海特區(qū)報(bào);2007年

4 記者 李學(xué)梅;生活垃圾回收,為法國帶來豐厚回報(bào)[N];新華每日電訊;2009年

5 李松梧　中國城市建設(shè)研究院總工程師 徐海云;垃圾回收合作社能建否？[N];中國環(huán)境報(bào);2009年

6 記者杜磊;州直各縣積極籌建醫(yī)療垃圾回收站[N];伊犁日報(bào)(漢);2009年

7 鄭麗華;我市有了電子垃圾回收機(jī)構(gòu)[N];太原日報(bào);2010年

8 本報(bào)記者 魏星奎;農(nóng)村可利用垃圾回收處理[N];綿陽日報(bào);2011年

9 周海龍;加強(qiáng)電子垃圾回收處理[N];團(tuán)結(jié)報(bào);2013年

10 記者 王曄君;電子垃圾回收首度“觸網(wǎng)”[N];北京商報(bào);2013年

相關(guān)碩士學(xué)位論文 前10條

1 毛浪;城市生活垃圾回收網(wǎng)絡(luò)優(yōu)化研究[D];湖南大學(xué);2011年

2 劉麗麗;城市生活垃圾回收利用系統(tǒng)設(shè)計(jì)[D];中南大學(xué);2013年

3 許靜;我國電子垃圾回收處理法律制度研究[D];長安大學(xué);2010年

4 杜武;廬山旅游垃圾回收設(shè)施設(shè)計(jì)研究[D];南昌大學(xué);2013年

5 劉莉;基于多層次建模和GIS的垃圾回收行為模型研究[D];重慶大學(xué);2003年

6 甘賽雄;城市垃圾回收方式及工具創(chuàng)新設(shè)計(jì)[D];南昌大學(xué);2012年

7 王豫煒;城市垃圾回收嵌入式車載系統(tǒng)設(shè)計(jì)[D];北京化工大學(xué);2013年

8 楊歆;農(nóng)村家庭生活垃圾回收政策效果的實(shí)證分析[D];西北大學(xué);2013年

9 徐鍵;城市垃圾回收設(shè)施設(shè)計(jì)研究[D];江南大學(xué);2007年

10 梁宏鑫;電能受限的手持設(shè)備中KVM的移植與性能調(diào)優(yōu)[D];上海交通大學(xué);2007年

，

本文編號：2319185