基于hadoop的時(shí)隙優(yōu)化任務(wù)調(diào)度策略研究
本文關(guān)鍵詞: 云計(jì)算 hadoop平臺(tái) SDN架構(gòu) 任務(wù)調(diào)度 時(shí)隙策略 負(fù)載均衡 出處:《西北工業(yè)大學(xué)學(xué)報(bào)》2017年01期 論文類型:期刊論文
【摘要】:針對(duì)分布式云計(jì)算平臺(tái)hadoop任務(wù)調(diào)度中由于網(wǎng)絡(luò)時(shí)延而導(dǎo)致的調(diào)度不平衡問(wèn)題,提出一種基于時(shí)隙優(yōu)化的任務(wù)調(diào)度算法。充分參考當(dāng)前網(wǎng)絡(luò)條件,將其作為任務(wù)調(diào)度的重要參考依據(jù),利用SDN對(duì)網(wǎng)絡(luò)帶寬的管理能力,根據(jù)時(shí)隙策略分配帶寬,結(jié)合局部性原理決定將任務(wù)分派到本地還是低負(fù)載的其他節(jié)點(diǎn),從全局角度保證任務(wù)本地化比例較高的前提下以最優(yōu)的方式高效分派任務(wù),以提高系統(tǒng)整體的任務(wù)處理能力。依據(jù)算法設(shè)計(jì)調(diào)度器設(shè)計(jì)并進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的調(diào)度質(zhì)量。
[Abstract]:In order to solve the problem of scheduling imbalance caused by network delay in hadoop task scheduling of distributed cloud computing platform, a task scheduling algorithm based on slot optimization is proposed, with full reference to the current network conditions. Taking it as an important reference for task scheduling, using the ability of SDN to manage network bandwidth, allocating bandwidth according to slot policy, and combining the principle of locality, we decide whether to assign tasks to other nodes with low load or local load. In order to improve the task processing ability of the whole system, the scheduler is designed according to the algorithm and the experiment is carried out under the premise of ensuring the high proportion of task localization from the global perspective, in order to assign tasks efficiently and efficiently in the optimal way, so as to improve the task processing ability of the system. Experimental results verify the scheduling quality of the algorithm.
【作者單位】: 西北工業(yè)大學(xué)電子信息學(xué)院;西北工業(yè)大學(xué)自動(dòng)化學(xué)院;
【基金】:國(guó)家自然科學(xué)基金(61471299)資助
【分類號(hào)】:TP301.6
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 孟憲福;基于優(yōu)先級(jí)的任務(wù)調(diào)度與負(fù)載均衡模型研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年09期
2 廖曉文;廖京盛;;時(shí)間觸發(fā)模式的任務(wù)調(diào)度與分解策略[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年07期
3 樊曉香;;任務(wù)調(diào)度問(wèn)題機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年07期
4 黃漾;;分布式環(huán)境下任務(wù)調(diào)度探討[J];電腦知識(shí)與技術(shù);2011年19期
5 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計(jì)算機(jī)研究與發(fā)展;1990年04期
6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡(luò)任務(wù)調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年11期
7 李陶深;李明麗;張希翔;;云計(jì)算環(huán)境下任務(wù)調(diào)度技術(shù)的研究進(jìn)展[J];玉林師范學(xué)院學(xué)報(bào);2014年02期
8 劉雄文,陸鑫達(dá);元計(jì)算環(huán)境中任務(wù)調(diào)度的深入分析[J];計(jì)算機(jī)工程與應(yīng)用;2002年17期
9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計(jì)算中任務(wù)調(diào)度研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2005年05期
10 張國(guó)海;江平宇;周光輝;;多設(shè)計(jì)任務(wù)調(diào)度的非合作博弈研究[J];西安交通大學(xué)學(xué)報(bào);2007年03期
相關(guān)會(huì)議論文 前10條
1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集(下)[C];2006年
2 張磊;馬軍;;描述短時(shí)資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年
3 王軍;巢玉強(qiáng);彭釗軼;;基于任務(wù)調(diào)度的電能量計(jì)量采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006電力系統(tǒng)自動(dòng)化學(xué)術(shù)交流研討大會(huì)論文集[C];2006年
4 張志強(qiáng);王萬(wàn)玉;王建平;李凡;袁剛;;多站多星任務(wù)調(diào)度優(yōu)化模型研究[A];第二十三屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2010年
5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年
6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集(上)[C];2006年
7 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國(guó)過(guò)程控制學(xué)術(shù)年會(huì)暨第4屆全國(guó)故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年
8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國(guó)空間探測(cè)學(xué)術(shù)研討會(huì)摘要集[C];2012年
9 黃文澤;邵峰晶;孫仁誠(chéng);;基于雙總線安全結(jié)構(gòu)的操作系統(tǒng)任務(wù)調(diào)度[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年
10 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年
相關(guān)重要報(bào)紙文章 前1條
1 王波;Linux與服務(wù)器集群技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2002年
相關(guān)博士學(xué)位論文 前10條
1 趙凡宇;航天器多目標(biāo)觀測(cè)任務(wù)調(diào)度與規(guī)劃方法研究[D];北京理工大學(xué);2015年
2 孫明明;云計(jì)算平臺(tái)上任務(wù)調(diào)度算法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年
3 郭力爭(zhēng);云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年
4 黃萬(wàn)偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年
5 瞿進(jìn);可重構(gòu)系統(tǒng)軟硬功能劃分及任務(wù)調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2011年
6 周雙娥;實(shí)時(shí)分布容錯(cuò)系統(tǒng)的任務(wù)調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2003年
7 柴亞輝;基于FPGA的高性能計(jì)算架構(gòu)硬件任務(wù)與資源模型研究[D];上海大學(xué);2012年
8 金剛;云環(huán)境下任務(wù)調(diào)度關(guān)鍵問(wèn)題研究[D];吉林大學(xué);2015年
9 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年
10 陳錫明;基于NOW的任務(wù)調(diào)度和負(fù)載平衡方法研究[D];電子科技大學(xué);2000年
相關(guān)碩士學(xué)位論文 前10條
1 張巧龍;云計(jì)算環(huán)境下任務(wù)調(diào)度問(wèn)題的研究[D];江南大學(xué);2015年
2 徐彬;云環(huán)境下基于動(dòng)態(tài)融合遺傳蟻群算法的DAG任務(wù)調(diào)度研究[D];南京信息工程大學(xué);2015年
3 鐘瀟柔;基于動(dòng)態(tài)遺傳算法的云計(jì)算任務(wù)節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2015年
4 李婷;分布式爬蟲(chóng)任務(wù)調(diào)度與AJAX頁(yè)面抓取研究[D];電子科技大學(xué);2015年
5 趙彬;基于任務(wù)調(diào)度和動(dòng)態(tài)資源調(diào)整的云計(jì)算節(jié)能機(jī)制及能效分析[D];廣西大學(xué);2015年
6 楊鏡;基于人工免疫系統(tǒng)的云平臺(tái)動(dòng)態(tài)任務(wù)調(diào)度[D];電子科技大學(xué);2014年
7 王一冰;基于ASP.NET的任務(wù)調(diào)度管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年
8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動(dòng)的工作流任務(wù)調(diào)度研究[D];新疆大學(xué);2015年
9 呂信科;基于多核陣列的任務(wù)調(diào)度技術(shù)研究[D];電子科技大學(xué);2015年
10 溫宇昂;單階段差異化多機(jī)可拆分任務(wù)調(diào)度優(yōu)化方法[D];東北大學(xué);2013年
,本文編號(hào):1499085
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1499085.html