本文選題：Hadoop + MapReduce��； 參考：《計算機(jī)應(yīng)用研究》2017年03期

【摘要】：當(dāng)一個工作節(jié)點(diǎn)有多個本地任務(wù)可執(zhí)行時,默認(rèn)情況下,調(diào)度器都是按照任務(wù)被發(fā)現(xiàn)的先后順序來進(jìn)行執(zhí)行,效率低下。為了優(yōu)化對本地任務(wù)的調(diào)度,提出了一種基于機(jī)器學(xué)習(xí)的Hadoop本地任務(wù)調(diào)度優(yōu)化算法。選取定義與任務(wù)相關(guān)的特征向量,然后基于logistic回歸模型的機(jī)器學(xué)習(xí)方式得到各向量的作用權(quán)值,將任務(wù)進(jìn)行優(yōu)先級排序,并通過過載規(guī)則不斷更新模型。通過實(shí)驗(yàn)證明,提出的算法在改善map任務(wù)的數(shù)據(jù)本地性的同時,降低了作業(yè)運(yùn)行時間。
[Abstract]:When a working node has multiple local tasks to execute, by default, the scheduler executes in the order in which the tasks are discovered, which is inefficient. In order to optimize the scheduling of local tasks, a machine learning based Hadoop local task scheduling optimization algorithm is proposed. Then the machine learning method based on logistic regression model is used to get the weight value of each vector. The tasks are prioritized and the model is updated by overload rules. Experimental results show that the proposed algorithm not only improves the data localization of map task, but also reduces the running time of the job.
【作者單位】： 南京工業(yè)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;南京市衛(wèi)生信息中心;
【基金】：國家公益性科研專項(xiàng)項(xiàng)目(201310162,201210022) 連云港科技支撐計劃資助項(xiàng)目(SH1110)
【分類號】：TP301.6

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 于倩;蔚承建;王開;朱林軍;;基于機(jī)器學(xué)習(xí)的MapReduce資源調(diào)度算法[J];計算機(jī)應(yīng)用研究;2016年01期

2 徐煥良;翟璐;薛衛(wèi);任守綱;;Hadoop平臺中MapReduce調(diào)度算法研究[J];計算機(jī)應(yīng)用與軟件;2015年05期

3 李春艷;何一舟;戴彬;;Hadoop平臺的多隊列作業(yè)調(diào)度優(yōu)化方法研究[J];計算機(jī)應(yīng)用研究;2014年03期

4 余正祥;;基于學(xué)習(xí)方式對Hadoop作業(yè)調(diào)度的改進(jìn)研究[J];計算機(jī)科學(xué);2012年S1期

5 顧宇;周良;丁秋林;;基于優(yōu)先級的Three-Queue調(diào)度算法研究[J];計算機(jī)科學(xué);2011年S1期

6 謝花林;李波;;基于logistic回歸模型的農(nóng)牧交錯區(qū)土地利用變化驅(qū)動力分析——以內(nèi)蒙古翁牛特旗為例[J];地理研究;2008年02期

7 施朝健,張明銘;Logistic回歸模型分析[J];計算機(jī)輔助工程;2005年03期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周建;張鳳榮;徐艷;高陽;張佰林;李超;;基于降水量與土壤類型的北方農(nóng)牧交錯區(qū)土地利用/覆被格局及變化分析——以科爾沁左翼后旗為例[J];地理研究;2017年07期

2 郝艷妮;田維麗;;基于Hadoop的數(shù)據(jù)挖掘算法在葡萄酒信息數(shù)據(jù)分析系統(tǒng)中的應(yīng)用[J];計算機(jī)應(yīng)用;2017年S1期

3 曾國文;趙寶峰;王波;;基于R語言的運(yùn)營商4G用戶流失預(yù)警模型研究[J];移動通信;2017年10期

4 王成福;劉軍;朱美玲;;新疆農(nóng)業(yè)高效節(jié)水灌溉技術(shù)長效利用影響因素分析[J];節(jié)水灌溉;2017年04期

5 韓震;孫紅;;基于Hadoop的分布式平臺實(shí)現(xiàn)[J];軟件導(dǎo)刊;2017年03期

6 李曉;馮長春;李天嬌;張文暉;;基于Logistic模型的土地利用格局影響因素分析——以重慶市義和鎮(zhèn)為例[J];北京大學(xué)學(xué)報(自然科學(xué)版);2017年04期

7 金曉斌;潘倩;楊緒紅;白清;周寅康;;清代中期江蘇省土地利用格局網(wǎng)格化重建（英文）[J];Journal of Geographical Sciences;2016年12期

8 王少娟;;異構(gòu)環(huán)境下改進(jìn)的LATE調(diào)度算法[J];計算技術(shù)與自動化;2016年04期

9 方曉樂;王倩雪;陳鑫祥;吳永靜;;一種基于MapReduce的電子地圖數(shù)字水印處理方法[J];計算機(jī)應(yīng)用與軟件;2016年10期

10 陳思宇;張昕彤;吳迪;竇群;宋金平;;北京市批發(fā)企業(yè)區(qū)位分布演化與驅(qū)動力分析[J];經(jīng)濟(jì)地理;2016年09期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋杰;李甜甜;朱志良;鮑玉斌;于戈;;云數(shù)據(jù)管理系統(tǒng)能耗基準(zhǔn)測試與分析[J];計算機(jī)學(xué)報;2013年07期

2 柯何楊;楊群;王立松;段汐;;同構(gòu)Hadoop集群環(huán)境下改進(jìn)的延遲調(diào)度算法[J];計算機(jī)應(yīng)用研究;2013年05期

3 楊立身;余麗萍;;異構(gòu)環(huán)境下增強(qiáng)的自適應(yīng)MapReduce調(diào)度算法[J];計算機(jī)工程與應(yīng)用;2013年19期

4 寧文瑜;吳慶波;譚郁松;;面向MapReduce的自適應(yīng)延遲調(diào)度算法[J];計算機(jī)工程與科學(xué);2013年03期

5 魏曉輝;付慶午;李洪亮;;Hadoop平臺下基于資源預(yù)測的Delay調(diào)度算法[J];吉林大學(xué)學(xué)報(理學(xué)版);2013年01期

6 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機(jī)研究與發(fā)展;2013年01期

7 鄒偉明;于炯;英昌甜;胡丹;;基于動態(tài)等待時間閾值的延遲調(diào)度算法[J];計算機(jī)應(yīng)用研究;2012年11期

8 鄧傳華;范通讓;高峰;;Hadoop下基于統(tǒng)計最優(yōu)的資源調(diào)度算法[J];計算機(jī)應(yīng)用研究;2013年02期

9 怓鳴;陳俊杰;強(qiáng)彥;;基于模擬退火的Map Reduce調(diào)度算法[J];計算機(jī)工程;2012年19期

10 顧宇;周良;丁秋林;;基于優(yōu)先級的Three-Queue調(diào)度算法研究[J];計算機(jī)科學(xué);2011年S1期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孟憲福;基于優(yōu)先級的任務(wù)調(diào)度與負(fù)載均衡模型研究[J];小型微型計算機(jī)系統(tǒng);2005年09期

2 廖曉文;廖京盛;;時間觸發(fā)模式的任務(wù)調(diào)度與分解策略[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年07期

3 樊曉香;;任務(wù)調(diào)度問題機(jī)制設(shè)計[J];計算機(jī)技術(shù)與發(fā)展;2008年07期

4 黃漾;;分布式環(huán)境下任務(wù)調(diào)度探討[J];電腦知識與技術(shù);2011年19期

5 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計算機(jī)研究與發(fā)展;1990年04期

6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡(luò)任務(wù)調(diào)度算法仿真[J];計算機(jī)仿真;2013年11期

7 李陶深;李明麗;張希翔;;云計算環(huán)境下任務(wù)調(diào)度技術(shù)的研究進(jìn)展[J];玉林師范學(xué)院學(xué)報;2014年02期

8 劉雄文,陸鑫達(dá);元計算環(huán)境中任務(wù)調(diào)度的深入分析[J];計算機(jī)工程與應(yīng)用;2002年17期

9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計算中任務(wù)調(diào)度研究綜述[J];計算機(jī)應(yīng)用研究;2005年05期

10 張國海;江平宇;周光輝;;多設(shè)計任務(wù)調(diào)度的非合作博弈研究[J];西安交通大學(xué)學(xué)報;2007年03期

相關(guān)會議論文 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國理論計算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2005年

3 王軍;巢玉強(qiáng);彭釗軼;;基于任務(wù)調(diào)度的電能量計量采集系統(tǒng)的設(shè)計與實(shí)現(xiàn)[A];2006電力系統(tǒng)自動化學(xué)術(shù)交流研討大會論文集[C];2006年

4 張志強(qiáng);王萬玉;王建平;李凡;袁剛;;多站多星任務(wù)調(diào)度優(yōu)化模型研究[A];第二十三屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國過程控制學(xué)術(shù)年會暨第4屆全國故障診斷與安全性學(xué)術(shù)會議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國空間探測學(xué)術(shù)研討會摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠;;基于雙總線安全結(jié)構(gòu)的操作系統(tǒng)任務(wù)調(diào)度[A];2009全國計算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

相關(guān)重要報紙文章 前1條

1 王波;Linux與服務(wù)器集群技術(shù)[N];中國計算機(jī)報;2002年

相關(guān)博士學(xué)位論文 前10條

1 趙凡宇;航天器多目標(biāo)觀測任務(wù)調(diào)度與規(guī)劃方法研究[D];北京理工大學(xué);2015年

2 孫明明;云計算平臺上任務(wù)調(diào)度算法的研究[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張旭;面向網(wǎng)絡(luò)服務(wù)的傳輸協(xié)議設(shè)計與任務(wù)調(diào)度優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2017年

4 郭力爭;云計算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

5 黃萬偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年

6 瞿進(jìn);可重構(gòu)系統(tǒng)軟硬功能劃分及任務(wù)調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2011年

7 周雙娥;實(shí)時分布容錯系統(tǒng)的任務(wù)調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2003年

8 柴亞輝;基于FPGA的高性能計算架構(gòu)硬件任務(wù)與資源模型研究[D];上海大學(xué);2012年

9 金剛;云環(huán)境下任務(wù)調(diào)度關(guān)鍵問題研究[D];吉林大學(xué);2015年

10 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 張巧龍;云計算環(huán)境下任務(wù)調(diào)度問題的研究[D];江南大學(xué);2015年

2 徐彬;云環(huán)境下基于動態(tài)融合遺傳蟻群算法的DAG任務(wù)調(diào)度研究[D];南京信息工程大學(xué);2015年

3 鐘瀟柔;基于動態(tài)遺傳算法的云計算任務(wù)節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2015年

4 李婷;分布式爬蟲任務(wù)調(diào)度與AJAX頁面抓取研究[D];電子科技大學(xué);2015年

5 趙彬;基于任務(wù)調(diào)度和動態(tài)資源調(diào)整的云計算節(jié)能機(jī)制及能效分析[D];廣西大學(xué);2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺動態(tài)任務(wù)調(diào)度[D];電子科技大學(xué);2014年

7 王一冰;基于ASP.NET的任務(wù)調(diào)度管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動的工作流任務(wù)調(diào)度研究[D];新疆大學(xué);2015年

9 呂信科;基于多核陣列的任務(wù)調(diào)度技術(shù)研究[D];電子科技大學(xué);2015年

10 溫宇昂;單階段差異化多機(jī)可拆分任務(wù)調(diào)度優(yōu)化方法[D];東北大學(xué);2013年

，

本文編號：2111850