發(fā)布時間：2019-03-16 16:41

【摘要】：MapReduce已經(jīng)成為主流的海量數(shù)據(jù)處理模式,調(diào)度作為其中的關(guān)鍵環(huán)節(jié)已受到業(yè)界的廣泛關(guān)注。但是,已有的調(diào)度算法難以達到公平性和數(shù)據(jù)本地性之間的平衡,提出一種動態(tài)自適應(yīng)的延遲調(diào)度算法,針對公平延遲調(diào)度算法靜態(tài)設(shè)置延遲時間的不足,根據(jù)節(jié)點的釋放速度動態(tài)調(diào)整作業(yè)的延遲等待時間,避免了節(jié)點釋放速度快時,作業(yè)因靜態(tài)延遲時間而進行的無效等待,從而減少了完成整個作業(yè)的響應(yīng)時間。通過對基于Hadoop平臺實現(xiàn)的原型系統(tǒng)的文本排序?qū)嶒灉y試表明,自適應(yīng)的延遲調(diào)度算法相比已有的延遲調(diào)度算法在作業(yè)響應(yīng)時間方面提升5%～8%。
[Abstract]:MapReduce has become the mainstream mode of massive data processing, and scheduling, as a key link, has been widely concerned by the industry. However, the existing scheduling algorithms are difficult to achieve the balance between fairness and data locality. A dynamic adaptive delay scheduling algorithm is proposed, which aims at the deficiency of static setting delay time in fair delay scheduling algorithm. According to the release speed of the node, the delay waiting time of the job is dynamically adjusted, which avoids the invalid waiting of the job due to the static delay time when the node release speed is fast, and thus reduces the response time of completing the whole job. The text sorting experiment of the prototype system based on Hadoop platform shows that the adaptive delay scheduling algorithm improves the job response time by 5% / 8% compared with the existing delay scheduling algorithm.
【作者單位】： 國防科學(xué)技術(shù)大學(xué)計算機學(xué)院;
【基金】：核高基項目資助項目(2012zx01040001)
【分類號】：TP393.09;TP301.6

【參考文獻】

相關(guān)碩士學(xué)位論文 前1條

1 趙春燕;云環(huán)境下作業(yè)調(diào)度算法研究與實現(xiàn)[D];北京交通大學(xué);2009年

【共引文獻】

相關(guān)期刊論文 前10條

1 徐鵬;陳思;蘇森;;互聯(lián)網(wǎng)應(yīng)用PaaS平臺體系結(jié)構(gòu)[J];北京郵電大學(xué)學(xué)報;2012年01期

2 蔣娟;姜瑜;;云計算與農(nóng)村信息化建設(shè)[J];電腦知識與技術(shù);2011年32期

3 姜華杰;陳俊杰;強彥;;基于QoS的云計算資源分配算法[J];電腦開發(fā)與應(yīng)用;2012年08期

4 王新春;錢向東;;基于并發(fā)執(zhí)行時間配額控制的任務(wù)調(diào)度框架[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年11期

5 俞華鋒;;基于效益函數(shù)的云計算調(diào)度算法的研究[J];科技信息;2011年03期

6 朱健琛;徐潔;魯珂;;一種類歐氏距離-負載平衡的云任務(wù)調(diào)度算法[J];計算機仿真;2012年06期

7 吳文豪;;云計算在電信運營商互聯(lián)網(wǎng)數(shù)據(jù)中心建設(shè)中的應(yīng)用[J];科技風(fēng);2012年02期

8 張磊;晁愛農(nóng);郭利鋒;;某演練評估系統(tǒng)中云計算任務(wù)調(diào)度研究[J];計算機仿真;2012年07期

9 張瑞藜;;基于微粒群算法的云計算資源調(diào)度策略的研究[J];黑龍江科技信息;2012年23期

10 藍昊慧;;云計算在Web結(jié)構(gòu)挖掘算法中的運用研究[J];計算機時代;2012年10期

相關(guān)博士學(xué)位論文 前1條

1 方雷;基于云計算的土地資源服務(wù)高效處理平臺關(guān)鍵技術(shù)探索與研究[D];浙江大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 申志強;基于云計算的IPv6協(xié)議應(yīng)用研究[D];東北財經(jīng)大學(xué);2010年

2 嚴(yán)格;云計算在區(qū)域醫(yī)療信息化中的應(yīng)用研究[D];北京交通大學(xué);2011年

3 石飛燕;數(shù)據(jù)密集型計算中副本優(yōu)化機制研究[D];武漢理工大學(xué);2011年

4 郭雷風(fēng);農(nóng)業(yè)科研云原型系統(tǒng)設(shè)計與應(yīng)用理論研究[D];中國農(nóng)業(yè)科學(xué)院;2011年

5 徐風(fēng);移動公司云計算平臺原型的構(gòu)建與測試[D];中南大學(xué);2010年

6 陳艷金;MapReduce模型在Hadoop平臺下實現(xiàn)作業(yè)調(diào)度算法的研究和改進[D];華南理工大學(xué);2011年

7 施楊斌;云計算環(huán)境下一種基于虛擬機動態(tài)遷移的負載均衡算法[D];復(fù)旦大學(xué);2011年

8 王文洲;基于云計算的電信運營商IDC的構(gòu)建[D];復(fù)旦大學(xué);2011年

9 陳璐;基于云計算的海量數(shù)據(jù)存儲技術(shù)的研究及應(yīng)用[D];武漢科技大學(xué);2011年

10 惠新華;云環(huán)境下作業(yè)調(diào)度優(yōu)化的方法研究[D];遼寧大學(xué);2011年

【二級參考文獻】

相關(guān)期刊論文 前10條

1 馬學(xué)彬;溫濤;郭權(quán);王剛;;一種基于遺傳算法的網(wǎng)格任務(wù)調(diào)度算法[J];東北大學(xué)學(xué)報(自然科學(xué)版);2007年07期

2 李立;;GridSim網(wǎng)格仿真工具研究[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年13期

3 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計算中任務(wù)調(diào)度研究綜述[J];計算機應(yīng)用研究;2005年05期

4 田翠華;常桂然;金海月;游新冬;;網(wǎng)格模擬技術(shù)分析[J];計算機應(yīng)用研究;2007年02期

5 劉鵬;趙偉;;反垃圾郵件網(wǎng)格清掃網(wǎng)絡(luò)[J];軟件世界;2006年13期

6 高曙;鄭德;;一種基于蟻群算法的任務(wù)調(diào)度方法[J];微計算機信息;2007年06期

7 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯機制研究[J];微電子學(xué)與計算機;2007年09期

8 翟東升;李莉;;Multi-Agent系統(tǒng)基于優(yōu)先級的負載均衡任務(wù)調(diào)度模型[J];現(xiàn)代圖書情報技術(shù);2007年08期

9 郭玉華;;基于GridSim的網(wǎng)格調(diào)度應(yīng)用研究[J];邢臺職業(yè)技術(shù)學(xué)院學(xué)報;2007年05期

10 劉封;;談分布式計算模型MapReduce與搜索引擎系統(tǒng)[J];知識經(jīng)濟;2007年08期

相關(guān)會議論文 前1條

1 秦宇強;馮秀芳;余雪麗;;網(wǎng)格計算中保證QoS的Agent技術(shù)[A];全國ISNBM學(xué)術(shù)交流會暨電腦開發(fā)與應(yīng)用創(chuàng)刊20周年慶祝大會論文集[C];2005年

相關(guān)碩士學(xué)位論文 前2條

1 陳瑩;基于遺傳算法的網(wǎng)格任務(wù)調(diào)度研究及實現(xiàn)[D];四川大學(xué);2006年

2 張濤;基于網(wǎng)格計算經(jīng)濟模型的資源調(diào)度算法研究[D];江南大學(xué);2006年

【相似文獻】

相關(guān)期刊論文 前10條

1 肖健梅;船舶航向自適應(yīng)控制算法及仿真[J];計算機輔助工程;1996年03期

2 陳華 ,丁杰偉;自適應(yīng)坐標(biāo)格繪制的實現(xiàn)[J];電腦編程技巧與維護;2000年12期

3 吳根清,鄭方,金凌,吳文虎;一種在線遞增式語言模型自適應(yīng)方法[J];中文信息學(xué)報;2002年01期

4 尉永青,曲霖潔;基于網(wǎng)絡(luò)的自適應(yīng)測試系統(tǒng)設(shè)計[J];山東師范大學(xué)學(xué)報(自然科學(xué)版);2003年02期

5 叢春瑜,劉家勛;網(wǎng)絡(luò)自適應(yīng)教育系統(tǒng)的設(shè)計與開發(fā)[J];成都教育學(xué)院學(xué)報;2004年09期

6 張曉東,陳鋒,杜凱;一種印章圖像的自適應(yīng)特征提取算法[J];哈爾濱工業(yè)大學(xué)學(xué)報;2004年08期

7 叢春瑜,劉家勛,于濱;一個基于Web的自適應(yīng)學(xué)習(xí)系統(tǒng)[J];微型電腦應(yīng)用;2004年09期

8 程國達,鄒亞會,朱靜;一種自適應(yīng)信息集成方法[J];計算機應(yīng)用;2005年03期

9 蔣剛,肖建;大數(shù)據(jù)條件下自適應(yīng)Huffman算法潛在問題初探[J];信息與電子工程;2005年01期

10 王建華,朱元昌,王春平,賈洪濤;自適應(yīng)腐蝕模板在球形目標(biāo)分割中的應(yīng)用及實現(xiàn)[J];兵工學(xué)報;2005年04期

相關(guān)會議論文 前10條

1 劉程遠;王小銘;;基于自適應(yīng)融合系數(shù)矩陣的圖像隱藏算法[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

2 李琪林;甄威;周明天;;一種適用于Master-Worker應(yīng)用的動態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

3 梁韻基;周興社;於志文;;面向老年人的自適應(yīng)提醒服務(wù)系統(tǒng)[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

4 王小靜;楊高波;劉爭艷;杜青松;;一種量化誤差補償?shù)膲嚎s域H.264/AVC視頻水印算法[A];第八屆全國信息隱藏與多媒體安全學(xué)術(shù)大會湖南省計算機學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

5 李文敬;黃容偉;廖偉志;;基于相對梯度的自適應(yīng)圖像分形壓縮并行算法[A];2007年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(下冊)[C];2007年

6 李亮;陳志強;邢宇翔;;基于自適應(yīng)非均勻網(wǎng)格模型的CT重建算法研究[A];2004年CT和三維成像學(xué)術(shù)年會論文集[C];2004年

7 張梁斌;奚李峰;范申;;基于自適應(yīng)門限四叉樹的分形圖像壓縮新方法[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

8 欒秋紅;林克正;;基于能量量化自適應(yīng)數(shù)字音頻水印算法[A];黑龍江省計算機學(xué)會2007年學(xué)術(shù)交流年會論文集[C];2007年

9 楊樊;韓艷麗;;一種基于極值的自適應(yīng)均值濾波算法[A];2006年全國光電技術(shù)學(xué)術(shù)交流會會議文集（D 光電信息處理技術(shù)專題）[C];2006年

10 彭豐平;鮑蘇蘇;;基于CT序列圖像肝臟及其管道的分割[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

相關(guān)重要報紙文章 前6條

1 伍裕標(biāo);畫出心中的“理想”曲線[N];中國電腦教育報;2002年

2 黃智軍;RSA提供金融身份安全產(chǎn)品[N];計算機世界;2007年

3 岳軼群 翁敬農(nóng);LBS應(yīng)用的特點[N];中國測繪報;2006年

4 慶軍 宏宇 憲春;海信網(wǎng)絡(luò)科技　領(lǐng)先智能交通[N];中華工商時報;2004年

5 天津 王守銀;根據(jù)屏幕分辨率調(diào)整應(yīng)用程序[N];電腦報;2001年

6 ;飛行器氣動預(yù)研設(shè)計的有力工具[N];中國航空報;2005年

相關(guān)博士學(xué)位論文 前10條

1 彭健;多類小字符集自適應(yīng)字符識別技術(shù)及系統(tǒng)的研究[D];重慶大學(xué);2002年

2 童立靖;實時系統(tǒng)的自適應(yīng)進程調(diào)度方法研究[D];中國科學(xué)院研究生院（軟件研究所）;2005年

3 趙英;基于異步網(wǎng)絡(luò)環(huán)境的自適應(yīng)時鐘同步[D];北京化工大學(xué);2004年

4 單菊林;自適應(yīng)有限元網(wǎng)格生成算法研究與應(yīng)用[D];大連理工大學(xué);2007年

5 吉萌;高性能業(yè)務(wù)路由器系統(tǒng)軟件研究[D];華中科技大學(xué);2006年

6 趙宏慶;若干細分造型方法與應(yīng)用研究[D];西北工業(yè)大學(xué);2006年

7 張洪梅;三維六面體網(wǎng)格自適應(yīng)生成算法研究及其應(yīng)用[D];山東大學(xué);2007年

8 黎鶴;并行系統(tǒng)中負載調(diào)度問題的研究[D];中國科學(xué)技術(shù)大學(xué);2008年

9 宋樂;異源圖像融合及其評價方法的研究[D];天津大學(xué);2008年

10 張菊清;空間幾何數(shù)據(jù)質(zhì)量控制的理論與方法研究[D];長安大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 孫琰;基于小波變換的圖像邊緣檢測技術(shù)[D];西北工業(yè)大學(xué);2004年

2 史悅;自適應(yīng)超文本/超媒體學(xué)習(xí)系統(tǒng)的研究與開發(fā)[D];貴州師范大學(xué);2004年

3 孫浩;基于遠程教育的自適應(yīng)測評系統(tǒng)的研究和實現(xiàn)[D];昆明理工大學(xué);2005年

4 周陸俊;計算機輔助車間作業(yè)計劃研究[D];南京林業(yè)大學(xué);2005年

5 唐升;回聲隱藏技術(shù)的研究[D];西北大學(xué);2006年

6 張樹忠;基于Canny理論的彩色圖像邊緣檢測[D];成都理工大學(xué);2006年

7 王二寶;基于802.11廣播的車輛網(wǎng)絡(luò)報警數(shù)據(jù)分發(fā)技術(shù)研究[D];西安電子科技大學(xué);2007年

8 左永利;自適應(yīng)入侵容忍數(shù)據(jù)庫體系結(jié)構(gòu)及其關(guān)鍵技術(shù)研究[D];重慶大學(xué);2007年

9 唐娟;不同環(huán)境下的時延估計算法及其仿真研究[D];南京信息工程大學(xué);2007年

10 陳t，

本文編號：2441752