本文關(guān)鍵詞：基于加速收斂蜂群算法的資源感知調(diào)度器　出處：《計(jì)算機(jī)工程與科學(xué)》2016年08期 　論文類型：期刊論文

  更多相關(guān)文章： 云計(jì)算 Hadoop 作業(yè)調(diào)度器 人工蜂群 資源感知

【摘要】：為了能有效處理海量數(shù)據(jù),進(jìn)行關(guān)聯(lián)分析、商業(yè)預(yù)測(cè)等,Hadoop分布式云計(jì)算平臺(tái)應(yīng)運(yùn)而生。但隨著Hadoop的廣泛應(yīng)用,其作業(yè)調(diào)度方面的不足也顯現(xiàn)出來,現(xiàn)有的多種作業(yè)調(diào)度器存在參數(shù)設(shè)置復(fù)雜、啟動(dòng)時(shí)間長(zhǎng)等缺陷。借助于人工蜂群算法的自組織性強(qiáng)、收斂速度快的優(yōu)勢(shì),設(shè)計(jì)并實(shí)現(xiàn)了能實(shí)時(shí)檢測(cè)Hadoop內(nèi)部資源使用情況的資源感知調(diào)度器。相比于原有的作業(yè)調(diào)度器,該調(diào)度器具有參數(shù)設(shè)置少、啟動(dòng)速度快等優(yōu)勢(shì)�；鶞�(zhǔn)測(cè)試結(jié)果表明,該調(diào)度器在異構(gòu)集群上,調(diào)度資源密集型作業(yè)比原有調(diào)度器快10%~20%左右。
[Abstract]:In order to deal with large amounts of data effectively, business prediction and other Hadoop distributed cloud computing platform emerge as the times require, but with the wide application of Hadoop. The shortcomings of the job scheduling are also revealed. The existing multiple job schedulers have the disadvantages of complex parameter setting and long start-up time. The advantages of artificial bee colony algorithm are strong self-organization and fast convergence speed. This paper designs and implements a resource aware scheduler which can detect the internal resource usage of Hadoop in real time. Compared with the original job scheduler, the scheduler has fewer parameters. The benchmark test results show that the scheduler can schedule resource-intensive jobs about 10% or 20% faster than the original scheduler on heterogeneous clusters.
【作者單位】： 武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;湖北省咸寧市公安局;
【基金】：國(guó)家自然科學(xué)基金(61303029) 教育部留學(xué)回國(guó)啟動(dòng)基金([2012]1707) 湖北省自然科學(xué)基金(2014CFB836)
【分類號(hào)】：TP18;TP338.8
【正文快照】： 1引言隨著信息技術(shù)的蓬勃發(fā)展與移動(dòng)互聯(lián)的普及,各行各業(yè)每天產(chǎn)生海量的數(shù)據(jù)。為了能及時(shí)處理這些海量信息,具有高可擴(kuò)展性、高容錯(cuò)性,能及時(shí)處理數(shù)據(jù)密集型計(jì)算任務(wù)的分布式平臺(tái)——Ha-doop應(yīng)運(yùn)而生�；诜植际降腍adoop,實(shí)現(xiàn)了MapReduce編程模型和分布式文件系統(tǒng)HDFS(Hadoop

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 徐曉飛;劉志中;王忠杰;閔尋優(yōu);劉睿霖;王海芳;;S-ABC——面向服務(wù)領(lǐng)域的人工蜂群算法范型[J];計(jì)算機(jī)學(xué)報(bào);2015年11期

2 吉鵬飛;齊建東;朱文飛;;改進(jìn)人工魚群算法在Hadoop作業(yè)調(diào)度算法的應(yīng)用[J];計(jì)算機(jī)應(yīng)用研究;2014年12期

3 梁靜;許波;葛宇;;基于改進(jìn)蛙跳策略的Map-Reduce作業(yè)調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2013年07期

4 張海燕;吳凡;王建新;;基于蟻群算法的Hadoop資源感知調(diào)度器研究[J];計(jì)算機(jī)工程與應(yīng)用;2014年15期

5 畢曉君;王艷嬌;;加速收斂的人工蜂群算法[J];系統(tǒng)工程與電子技術(shù);2011年12期

6 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計(jì)算編程模型[J];計(jì)算機(jī)工程與科學(xué);2011年03期

相關(guān)碩士學(xué)位論文 前1條

1 夏yN;Hadoop平臺(tái)下的作業(yè)調(diào)度算法研究與改進(jìn)[D];華南理工大學(xué);2010年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高繼平;馬崢;潘云濤;張玉華;;大數(shù)據(jù)領(lǐng)域代表性專家識(shí)別與分析——文獻(xiàn)計(jì)量學(xué)視角[J];科技管理研究;2016年16期

2 周晟R，

本文編號(hào)：1439118