一種Hadoop Yarn的資源調(diào)度方法研究
本文選題:資源調(diào)度 + 蟻群算法; 參考:《電子學(xué)報(bào)》2016年05期
【摘要】:針對(duì)Hadoop Yarn資源調(diào)度問題,為提高集群作業(yè)執(zhí)行效率,提出一種基于蟻群算法與粒子群算法的自適應(yīng)Hadoop資源調(diào)度算法SRSAPH.SRSAPH中,通過Hadoop Yarn跳通信機(jī)制獲取負(fù)載、內(nèi)存、CPU速度等屬性信息初始化信息素矩陣;同時(shí),將粒子群算法的自我認(rèn)知能力與社會(huì)認(rèn)知能力引入到蟻群算法,提高算法的收斂速度;此外,根據(jù)蟻群算法全局最優(yōu)解的波動(dòng)趨勢動(dòng)態(tài)調(diào)整信息素?fù)]發(fā)系數(shù),提高解的精度.實(shí)驗(yàn)表明,采用SRSAPH進(jìn)行資源調(diào)度,集群的作業(yè)執(zhí)行時(shí)間縮短至少10%.
[Abstract]:Aiming at Hadoop Yarn resource scheduling problem, an adaptive Hadoop resource scheduling algorithm SRSAPH.SRSAPH based on ant colony algorithm and particle swarm optimization algorithm is proposed to improve the efficiency of cluster job execution. The load is obtained by Hadoop Yarn hopping communication mechanism. The memory CPU speed and other attribute information initialize the pheromone matrix; at the same time, the self-cognition and social cognitive ability of particle swarm optimization algorithm are introduced into ant colony algorithm to improve the convergence speed of the algorithm. According to the fluctuation trend of the global optimal solution of ant colony algorithm, the pheromone volatilization coefficient is dynamically adjusted to improve the accuracy of the solution. Experiments show that SRSAPH is used for resource scheduling, and the execution time of cluster jobs is shortened by at least 10%.
【作者單位】: 南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;香港大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;
【基金】:國家自然科學(xué)基金(No.41301407) 江蘇省自然科學(xué)基金(No.BK20130819)
【分類號(hào)】:TP18
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 周建濤;陸海燕;葉新銘;;面向資源調(diào)度的矩陣規(guī)范化方法研究[J];中山大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期
2 夏文明;李國富;;資源調(diào)度問題研究綜述[J];機(jī)電工程;2009年07期
3 林偉偉;齊德昱;;云計(jì)算資源調(diào)度研究綜述[J];計(jì)算機(jī)科學(xué);2012年10期
4 楊繼君;許維勝;黃武軍;吳啟迪;;基于多災(zāi)點(diǎn)非合作博弈的資源調(diào)度建模與仿真[J];計(jì)算機(jī)應(yīng)用;2008年06期
5 梁金華;;基于仿真網(wǎng)格平臺(tái)的資源調(diào)度算法模擬[J];科技信息;2010年18期
6 薛玉;;云計(jì)算環(huán)境下的資源調(diào)度優(yōu)化模型研究[J];計(jì)算機(jī)仿真;2013年05期
7 羅丹;;云計(jì)算資源調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年07期
8 謝斌;林華;;聯(lián)合戰(zhàn)場資源調(diào)度問題綜述[J];艦船電子工程;2013年10期
9 林永毅,張智江,廖黛麗,倪凌;電信傳輸資源及調(diào)度一體化管理的研究與實(shí)現(xiàn)[J];電信科學(xué);2002年10期
10 吉軍;蔚承建;陳勝峰;陳旭;;分散式多工廠資源調(diào)度中的一種理性策略[J];計(jì)算機(jī)應(yīng)用;2010年11期
相關(guān)會(huì)議論文 前3條
1 曹東旭;劉明陽;;基于馬爾科夫決策鏈的作戰(zhàn)資源調(diào)度[A];2014第二屆中國指揮控制大會(huì)論文集(上)[C];2014年
2 王兵;賈利民;龍慧;郭杜杜;馬玉春;;新疆公路網(wǎng)交通事故應(yīng)急救援資源調(diào)度系統(tǒng)設(shè)計(jì)及應(yīng)用[A];第七屆中國智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年
3 叢慧芳;王文生;謝能付;;農(nóng)業(yè)信息網(wǎng)格環(huán)境中數(shù)據(jù)傳輸資源調(diào)度方法研究[A];中國農(nóng)業(yè)信息科技創(chuàng)新與學(xué)科發(fā)展大會(huì)論文匯編[C];2007年
相關(guān)重要報(bào)紙文章 前1條
1 本報(bào)記者 吳挺;云計(jì)算的管理需求顯現(xiàn)[N];計(jì)算機(jī)世界;2009年
相關(guān)博士學(xué)位論文 前9條
1 王小樂;信息物理融合系統(tǒng)資源調(diào)度關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年
2 王力;鐵路集裝箱中心站關(guān)鍵資源調(diào)度優(yōu)化理論與方法[D];北京交通大學(xué);2014年
3 馬滿福;基于計(jì)算經(jīng)濟(jì)的網(wǎng)格資源管理研究[D];西北工業(yè)大學(xué);2007年
4 冉泳屹;云環(huán)境下基于隨機(jī)優(yōu)化的動(dòng)態(tài)資源調(diào)度研究[D];中國科學(xué)技術(shù)大學(xué);2015年
5 徐昕;基于博弈論的云計(jì)算資源調(diào)度方法研究[D];華東理工大學(xué);2015年
6 徐勁松;SLA約束下的云資源調(diào)度關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2013年
7 張靜樂;網(wǎng)絡(luò)環(huán)境下協(xié)同服務(wù)關(guān)鍵技術(shù)研究[D];北京科技大學(xué);2011年
8 田國忠;多DAG共享資源調(diào)度的若干問題研究[D];北京工業(yè)大學(xué);2013年
9 王海威;智能電視操作系統(tǒng)服務(wù)性能與資源調(diào)度關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 王艷平;基于蟻群算法的云計(jì)算資源調(diào)度研究[D];曲阜師范大學(xué);2015年
2 何蘭蘭;云環(huán)境下基于SLA的優(yōu)化資源管理機(jī)制研究[D];江西理工大學(xué);2015年
3 張揚(yáng);基于QPSO-SFLA改進(jìn)算法的云環(huán)境資源調(diào)度研究[D];江西理工大學(xué);2014年
4 楊南;藏文輿情云分析平臺(tái)資源調(diào)度優(yōu)化研究[D];西北民族大學(xué);2015年
5 李超;基于改進(jìn)粒子群算法的云計(jì)算資源調(diào)度研究[D];中國礦業(yè)大學(xué);2015年
6 郭慶光;基于協(xié)同演化算法的云計(jì)算資源調(diào)度的研究[D];電子科技大學(xué);2014年
7 陳強(qiáng);載波聚合下的資源調(diào)度研究[D];電子科技大學(xué);2014年
8 梁俊杰;基于應(yīng)用容器的云資源調(diào)度研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年
9 趙穎;Hadoop環(huán)境下的動(dòng)態(tài)資源管理研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年
10 徐政;基于QoS的LTE資源調(diào)度策略研究[D];南京郵電大學(xué);2015年
,本文編號(hào):2102777
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2102777.html