本文選題：Hadoop + MapReduce�。� 參考：《計(jì)算機(jī)應(yīng)用研究》2017年03期

【摘要】：當(dāng)一個(gè)工作節(jié)點(diǎn)有多個(gè)本地任務(wù)可執(zhí)行時(shí),默認(rèn)情況下,調(diào)度器都是按照任務(wù)被發(fā)現(xiàn)的先后順序來進(jìn)行執(zhí)行,效率低下。為了優(yōu)化對(duì)本地任務(wù)的調(diào)度,提出了一種基于機(jī)器學(xué)習(xí)的Hadoop本地任務(wù)調(diào)度優(yōu)化算法。選取定義與任務(wù)相關(guān)的特征向量,然后基于logistic回歸模型的機(jī)器學(xué)習(xí)方式得到各向量的作用權(quán)值,將任務(wù)進(jìn)行優(yōu)先級(jí)排序,并通過過載規(guī)則不斷更新模型。通過實(shí)驗(yàn)證明,提出的算法在改善map任務(wù)的數(shù)據(jù)本地性的同時(shí),降低了作業(yè)運(yùn)行時(shí)間。
[Abstract]:When a working node has multiple local tasks to execute, by default, the scheduler executes in the order in which the tasks are discovered, which is inefficient. In order to optimize the scheduling of local tasks, a machine learning based Hadoop local task scheduling optimization algorithm is proposed. Then the machine learning method based on logistic regression model is used to get the weight value of each vector. The tasks are prioritized and the model is updated by overload rules. Experimental results show that the proposed algorithm not only improves the data localization of map task, but also reduces the running time of the job.
【作者單位】： 南京工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;南京市衛(wèi)生信息中心;
【基金】：國家公益性科研專項(xiàng)項(xiàng)目(201310162,201210022) 連云港科技支撐計(jì)劃資助項(xiàng)目(SH1110)
【分類號(hào)】：TP301.6

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 于倩;蔚承建;王開;朱林軍;;基于機(jī)器學(xué)習(xí)的MapReduce資源調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2016年01期

2 徐煥良;翟璐;薛衛(wèi);任守綱;;Hadoop平臺(tái)中MapReduce調(diào)度算法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2015年05期

3 李春艷;何一舟;戴彬;;Hadoop平臺(tái)的多隊(duì)列作業(yè)調(diào)度優(yōu)化方法研究[J];計(jì)算機(jī)應(yīng)用研究;2014年03期

4 余正祥;;基于學(xué)習(xí)方式對(duì)Hadoop作業(yè)調(diào)度的改進(jìn)研究[J];計(jì)算機(jī)科學(xué);2012年S1期

5 顧宇;周良;丁秋林;;基于優(yōu)先級(jí)的Three-Queue調(diào)度算法研究[J];計(jì)算機(jī)科學(xué);2011年S1期

6 謝花林;李波;;基于logistic回歸模型的農(nóng)牧交錯(cuò)區(qū)土地利用變化驅(qū)動(dòng)力分析——以內(nèi)蒙古翁牛特旗為例[J];地理研究;2008年02期

7 施朝健,張明銘;Logistic回歸模型分析[J];計(jì)算機(jī)輔助工程;2005年03期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周建;張鳳榮;徐艷;高陽;張佰林;李超;;基于降水量與土壤類型的北方農(nóng)牧交錯(cuò)區(qū)土地利用/覆被格局及變化分析——以科爾沁左翼后旗為例[J];地理研究;2017年07期

2 郝艷妮;田維麗;;基于Hadoop的數(shù)據(jù)挖掘算法在葡萄酒信息數(shù)據(jù)分析系統(tǒng)中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2017年S1期

3 曾國文;趙寶峰;王波;;基于R語言的運(yùn)營商4G用戶流失預(yù)警模型研究[J];移動(dòng)通信;2017年10期

4 王成福;劉軍;朱美玲;;新疆農(nóng)業(yè)高效節(jié)水灌溉技術(shù)長效利用影響因素分析[J];節(jié)水灌溉;2017年04期

5 韓震;孫紅;;基于Hadoop的分布式平臺(tái)實(shí)現(xiàn)[J];軟件導(dǎo)刊;2017年03期

6 李曉;馮長春;李天嬌;張文暉;;基于Logistic模型的土地利用格局影響因素分析——以重慶市義和鎮(zhèn)為例[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年04期

7 金曉斌;潘倩;楊緒紅;白清;周寅康;;清代中期江蘇省土地利用格局網(wǎng)格化重建（英文）[J];Journal of Geographical Sciences;2016年12期

8 王少娟;;異構(gòu)環(huán)境下改進(jìn)的LATE調(diào)度算法[J];計(jì)算技術(shù)與自動(dòng)化;2016年04期

9 方曉樂;王倩雪;陳鑫祥;吳永靜;;一種基于MapReduce的電子地圖數(shù)字水印處理方法[J];計(jì)算機(jī)應(yīng)用與軟件;2016年10期

10 陳思宇;張昕彤;吳迪;竇群;宋金平;;北京市批發(fā)企業(yè)區(qū)位分布演化與驅(qū)動(dòng)力分析[J];經(jīng)濟(jì)地理;2016年09期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋杰;李甜甜;朱志良;鮑玉斌;于戈;;云數(shù)據(jù)管理系統(tǒng)能耗基準(zhǔn)測試與分析[J];計(jì)算機(jī)學(xué)報(bào);2013年07期

2 柯何楊;楊群;王立松;段汐;;同構(gòu)Hadoop集群環(huán)境下改進(jìn)的延遲調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2013年05期

3 楊立身;余麗萍;;異構(gòu)環(huán)境下增強(qiáng)的自適應(yīng)MapReduce調(diào)度算法[J];計(jì)算機(jī)工程與應(yīng)用;2013年19期

4 寧文瑜;吳慶波;譚郁松;;面向MapReduce的自適應(yīng)延遲調(diào)度算法[J];計(jì)算機(jī)工程與科學(xué);2013年03期

5 魏曉輝;付慶午;李洪亮;;Hadoop平臺(tái)下基于資源預(yù)測的Delay調(diào)度算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2013年01期

6 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

7 鄒偉明;于炯;英昌甜;胡丹;;基于動(dòng)態(tài)等待時(shí)間閾值的延遲調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2012年11期

8 鄧傳華;范通讓;高峰;;Hadoop下基于統(tǒng)計(jì)最優(yōu)的資源調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2013年02期

9 怓鳴;陳俊杰;強(qiáng)彥;;基于模擬退火的Map Reduce調(diào)度算法[J];計(jì)算機(jī)工程;2012年19期

10 顧宇;周良;丁秋林;;基于優(yōu)先級(jí)的Three-Queue調(diào)度算法研究[J];計(jì)算機(jī)科學(xué);2011年S1期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孟憲福;基于優(yōu)先級(jí)的任務(wù)調(diào)度與負(fù)載均衡模型研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年09期

2 廖曉文;廖京盛;;時(shí)間觸發(fā)模式的任務(wù)調(diào)度與分解策略[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年07期

3 樊曉香;;任務(wù)調(diào)度問題機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年07期

4 黃漾;;分布式環(huán)境下任務(wù)調(diào)度探討[J];電腦知識(shí)與技術(shù);2011年19期

5 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計(jì)算機(jī)研究與發(fā)展;1990年04期

6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡(luò)任務(wù)調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年11期

7 李陶深;李明麗;張希翔;;云計(jì)算環(huán)境下任務(wù)調(diào)度技術(shù)的研究進(jìn)展[J];玉林師范學(xué)院學(xué)報(bào);2014年02期

8 劉雄文,陸鑫達(dá);元計(jì)算環(huán)境中任務(wù)調(diào)度的深入分析[J];計(jì)算機(jī)工程與應(yīng)用;2002年17期

9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計(jì)算中任務(wù)調(diào)度研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2005年05期

10 張國海;江平宇;周光輝;;多設(shè)計(jì)任務(wù)調(diào)度的非合作博弈研究[J];西安交通大學(xué)學(xué)報(bào);2007年03期

相關(guān)會(huì)議論文 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時(shí)資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

3 王軍;巢玉強(qiáng);彭釗軼;;基于任務(wù)調(diào)度的電能量計(jì)量采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006電力系統(tǒng)自動(dòng)化學(xué)術(shù)交流研討大會(huì)論文集[C];2006年

4 張志強(qiáng);王萬玉;王建平;李凡;袁剛;;多站多星任務(wù)調(diào)度優(yōu)化模型研究[A];第二十三屆全國空間探測學(xué)術(shù)交流會(huì)論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國過程控制學(xué)術(shù)年會(huì)暨第4屆全國故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國空間探測學(xué)術(shù)研討會(huì)摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠;;基于雙總線安全結(jié)構(gòu)的操作系統(tǒng)任務(wù)調(diào)度[A];2009全國計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國控制會(huì)議論文集[C];2007年

相關(guān)重要報(bào)紙文章 前1條

1 王波;Linux與服務(wù)器集群技術(shù)[N];中國計(jì)算機(jī)報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 趙凡宇;航天器多目標(biāo)觀測任務(wù)調(diào)度與規(guī)劃方法研究[D];北京理工大學(xué);2015年

2 孫明明;云計(jì)算平臺(tái)上任務(wù)調(diào)度算法的研究[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張旭;面向網(wǎng)絡(luò)服務(wù)的傳輸協(xié)議設(shè)計(jì)與任務(wù)調(diào)度優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2017年

4 郭力爭;云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

5 黃萬偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年

6 瞿進(jìn);可重構(gòu)系統(tǒng)軟硬功能劃分及任務(wù)調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2011年

7 周雙娥;實(shí)時(shí)分布容錯(cuò)系統(tǒng)的任務(wù)調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2003年

8 柴亞輝;基于FPGA的高性能計(jì)算架構(gòu)硬件任務(wù)與資源模型研究[D];上海大學(xué);2012年

9 金剛;云環(huán)境下任務(wù)調(diào)度關(guān)鍵問題研究[D];吉林大學(xué);2015年

10 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 張巧龍;云計(jì)算環(huán)境下任務(wù)調(diào)度問題的研究[D];江南大學(xué);2015年

2 徐彬;云環(huán)境下基于動(dòng)態(tài)融合遺傳蟻群算法的DAG任務(wù)調(diào)度研究[D];南京信息工程大學(xué);2015年

3 鐘瀟柔;基于動(dòng)態(tài)遺傳算法的云計(jì)算任務(wù)節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2015年

4 李婷;分布式爬蟲任務(wù)調(diào)度與AJAX頁面抓取研究[D];電子科技大學(xué);2015年

5 趙彬;基于任務(wù)調(diào)度和動(dòng)態(tài)資源調(diào)整的云計(jì)算節(jié)能機(jī)制及能效分析[D];廣西大學(xué);2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺(tái)動(dòng)態(tài)任務(wù)調(diào)度[D];電子科技大學(xué);2014年

7 王一冰;基于ASP.NET的任務(wù)調(diào)度管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動(dòng)的工作流任務(wù)調(diào)度研究[D];新疆大學(xué);2015年

9 呂信科;基于多核陣列的任務(wù)調(diào)度技術(shù)研究[D];電子科技大學(xué);2015年

10 溫宇昂;單階段差異化多機(jī)可拆分任務(wù)調(diào)度優(yōu)化方法[D];東北大學(xué);2013年

，

本文編號(hào)：2111850