本文關(guān)鍵詞：基于資源簽名與遺傳算法的Hadoop參數(shù)自動調(diào)優(yōu)系統(tǒng)　出處：《計算機(jī)應(yīng)用研究》2017年11期 　論文類型：期刊論文

  更多相關(guān)文章： Hadoop集群 資源簽名 遺傳算法 參數(shù)配置 自動調(diào)優(yōu)

【摘要】：在Hadoop集群的優(yōu)化配置中,配置參數(shù)存在種類繁多、含義復(fù)雜、相互關(guān)聯(lián)影響的特性,導(dǎo)致難以實現(xiàn)快速準(zhǔn)確尋優(yōu)。針對以上問題,構(gòu)建了Hadoop集群自動調(diào)優(yōu)系統(tǒng),其中在系統(tǒng)中設(shè)計了資源獲取器與參數(shù)配置庫,分別用于獲取各作業(yè)的資源消耗與存儲分發(fā)配置方案。該系統(tǒng)利用MapReduce作業(yè)的小規(guī)模數(shù)據(jù)集資源簽名將任務(wù)分類,在遺傳算法框架中通過任務(wù)的測試評估對配置方案進(jìn)行自動迭代優(yōu)化。實驗結(jié)果表明,調(diào)優(yōu)后集群的任務(wù)完成時間明顯縮減,集群的資源利用率有了明顯提升。
[Abstract]:In the optimal configuration of Hadoop cluster, there are many kinds of configuration parameters, complex meanings and interrelated effects, which makes it difficult to achieve fast and accurate optimization. The automatic tuning system of Hadoop cluster is constructed, in which resource acquirer and parameter configuration library are designed. It is used to obtain the resource consumption and storage distribution configuration scheme of each job respectively. The system classifies the task by using the small scale data set resource signature of the MapReduce job. In the framework of genetic algorithm (GA), the task testing and evaluation are used to optimize the configuration scheme automatically. The experimental results show that the task completion time of the optimized cluster is significantly reduced and the resource utilization of the cluster has been significantly improved.
【作者單位】： 中國科學(xué)院沈陽計算技術(shù)研究所;中國科學(xué)院大學(xué);
【基金】：國家科技重大專項資助項目(2012ZX01029001-002,2014ZX04009031)
【分類號】：TP18;TP302.1
【正文快照】： Hadoop[1]是Apache軟件基金會(Apache Software Founda-tion)旗下的一個開源分布式計算平臺,具有高易用性、高容錯性和高可擴(kuò)展性等優(yōu)點,可以搭建在廉價的普通機(jī)器上構(gòu)成集群。隨著Hadoop分布式平臺在大規(guī)模數(shù)據(jù)存儲與處理中越來越普及,集群的運算與存儲壓力也越來越大,在有限

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳佳英;李平;鄭金華;胡寧靜;;一種改進(jìn)多親遺傳算法的并行模型研究[J];計算機(jī)工程;2007年05期

2 張玉才,沈元隆;遺傳算法在計算機(jī)系統(tǒng)優(yōu)化問題中的應(yīng)用[J];西安郵電學(xué)院學(xué)報;2005年01期

3 李鵬;楊曉非;;基于遺傳算法的磁光盤膜厚匹配的優(yōu)化設(shè)計[J];磁性材料及器件;2007年02期

4 朱建;高方偉;劉貴喜;;基于遺傳算法的筆記本電腦熱布局的優(yōu)化設(shè)計[J];電子質(zhì)量;2006年12期

5 馬秀娟;牛進(jìn)鵬;趙國良;;基于遺傳算法的星載計算機(jī)可靠性冗余優(yōu)化研究[J];計算機(jī)應(yīng)用;2007年S2期

6 岑巍;使用遺傳算法對時序電路進(jìn)行可測性預(yù)報[J];上海大學(xué)學(xué)報(自然科學(xué)版);1999年S1期

7 李晶;馬建敏;;遺傳算法在計算機(jī)基礎(chǔ)考試系統(tǒng)中的應(yīng)用研究[J];微型機(jī)與應(yīng)用;2014年01期

8 高家全;何桂霞;趙端陽;王雨順;;一種新的遺傳算法在并行機(jī)調(diào)度問題中的應(yīng)用[J];計算機(jī)應(yīng)用與軟件;2008年08期

9 李建鋒;彭艦;;云計算環(huán)境下基于改進(jìn)遺傳算法的任務(wù)調(diào)度算法[J];計算機(jī)應(yīng)用;2011年01期

10 喬雙;進(jìn)化型硬件及其基本構(gòu)成[J];小型微型計算機(jī)系統(tǒng);2001年06期

相關(guān)會議論文 前2條

1 周斌;崔葛瑾;;采用遺傳算法對AVR片內(nèi)RC校頻處理[A];第三屆中國智能計算大會論文集[C];2009年

2 趙愛君;;DDR SDRAM原理介紹及其MPC8548 DDR2控制器參數(shù)配置[A];2010中國儀器儀表學(xué)術(shù)、產(chǎn)業(yè)大會（論文集2）[C];2010年

相關(guān)重要報紙文章 前2條

1 本報記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計算機(jī)世界;2012年

2 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

相關(guān)碩士學(xué)位論文 前10條

1 宣豪駿;基于遺傳算法的云計算任務(wù)調(diào)度策略的研究與實現(xiàn)[D];昆明理工大學(xué);2016年

2 李柯;云計算下基于蟻群優(yōu)化算法的資源分配研究[D];杭州電子科技大學(xué);2016年

3 魏雪;基于遺傳算法的Web服務(wù)器集群負(fù)載均衡的研究[D];浙江理工大學(xué);2017年

4 諸洪瑩;應(yīng)用遺傳算法研究用于高密度信息存儲的多元環(huán)形濾光片[D];浙江工業(yè)大學(xué);2007年

5 丁孟為;遺傳算法在多核系統(tǒng)上的性能分析和優(yōu)化[D];上海交通大學(xué);2012年

6 倪云竹;用遺傳算法解決基于分條技術(shù)的磁盤負(fù)載均衡問題[D];四川大學(xué);2004年

7 張建;基于Hadoop的云計算模型研究及氣象應(yīng)用[D];南京信息工程大學(xué);2012年

8 邰建華;Hadoop平臺下的海量數(shù)據(jù)存儲技術(shù)研究[D];東北石油大學(xué);2012年

9 劉麗景;多Agent遺傳算法在云計算資源調(diào)度中的應(yīng)用研究[D];西安石油大學(xué);2011年

10 張艷璐;一種基于遺傳算法的低能耗云計算數(shù)據(jù)中心資源調(diào)度策略[D];杭州電子科技大學(xué);2015年

，

本文編號：1437070