發(fā)布時(shí)間：2018-11-04 09:17

【摘要】：云計(jì)算作為一種新的計(jì)算模式或者說(shuō)服務(wù)模式，主要通過互聯(lián)網(wǎng)向用戶提供計(jì)算、存儲(chǔ)、應(yīng)用平臺(tái)等各種服務(wù)，在國(guó)內(nèi)外各大研究機(jī)構(gòu)及企業(yè)的大力推動(dòng)下，其發(fā)展迅速，為處理互聯(lián)網(wǎng)應(yīng)用平臺(tái)日益增長(zhǎng)的龐大數(shù)據(jù)量提供了良好的解決方案。自2004年Google公司提出能并發(fā)處理海量數(shù)據(jù)的MapReduce并行編程模型起，基于MapReduce模型的云平臺(tái)不斷涌現(xiàn)，其中以Hadoop平臺(tái)應(yīng)用最為廣泛，而基于MapReduce模型的任務(wù)調(diào)度問題也成為了學(xué)者研究的熱點(diǎn)問題，高效的任務(wù)調(diào)度算法能提高云計(jì)算系統(tǒng)的整體性能以及更合理地分配和利用云計(jì)算中心的資源，，對(duì)云計(jì)算平臺(tái)處理海量數(shù)據(jù)有重要意義。 本文首先介紹了云計(jì)算的背景及相關(guān)技術(shù)，重點(diǎn)對(duì)MapReduce編程模型進(jìn)行描述和分析，詳細(xì)介紹了MapReduce的執(zhí)行過程；其次，介紹云計(jì)算環(huán)境下基于MapReduce編程模型的任務(wù)調(diào)度的新特征，并詳細(xì)介紹了幾種典型的云平臺(tái)任務(wù)調(diào)度算法，其主要包括：FIFO算法、MaxCover-Balance算法、公平算法、延遲調(diào)度算法、遺傳算法。 在認(rèn)真分析和研究云計(jì)算相關(guān)技術(shù)以及各算法的優(yōu)缺點(diǎn)后，提出了兩個(gè)改進(jìn)的任務(wù)調(diào)度算法。首先，針對(duì)已有的延遲調(diào)度算法存在的問題進(jìn)行改進(jìn)，通過分析數(shù)據(jù)中心計(jì)算節(jié)點(diǎn)空閑速率、網(wǎng)絡(luò)傳輸速率、節(jié)點(diǎn)負(fù)載等各動(dòng)態(tài)參數(shù)，根據(jù)概率模型調(diào)整每個(gè)作業(yè)的等待時(shí)間閾值以及空閑計(jì)算節(jié)點(diǎn)的等待時(shí)間，優(yōu)化算法性能；其次，對(duì)原有自適應(yīng)遺傳算法進(jìn)行改進(jìn)，在保證用戶公平性的前提下，將任務(wù)調(diào)度到輸入數(shù)據(jù)所在的計(jì)算節(jié)點(diǎn)以減少網(wǎng)絡(luò)傳輸開銷，并以縮短總?cè)蝿?wù)的完成時(shí)間及提高用戶滿意度為目標(biāo)，優(yōu)化算法性能。 最后通過Matlab模擬仿真云計(jì)算環(huán)境，設(shè)置和調(diào)整實(shí)驗(yàn)參數(shù)，對(duì)比分析原有算法與改進(jìn)后的算法。通過反復(fù)實(shí)驗(yàn)，結(jié)果表明改進(jìn)的延遲調(diào)度算法在數(shù)據(jù)本地性、作業(yè)公平性及作業(yè)完成時(shí)間方面優(yōu)于已有的延遲調(diào)度算法，是云計(jì)算環(huán)境下有效的任務(wù)調(diào)度算法；改進(jìn)的遺傳算法在響應(yīng)時(shí)間、公平性和用戶滿意度方面優(yōu)于自適應(yīng)遺傳算法，更加適應(yīng)云計(jì)算環(huán)境。
[Abstract]:Cloud computing as a new computing model or service model, mainly through the Internet to provide users with computing, storage, application platform and other services, in the domestic and foreign major research institutions and enterprises to promote its rapid development. It provides a good solution to deal with the growing data volume of Internet application platform. Since Google Company put forward the MapReduce parallel programming model which can deal with massive data concurrently in 2004, cloud platforms based on MapReduce model have been emerging, among which Hadoop platform is the most widely used. The task scheduling problem based on MapReduce model has become a hot topic for scholars. Efficient task scheduling algorithm can improve the overall performance of cloud computing system and allocate and utilize the resources of cloud computing center more reasonably. It is important for cloud computing platform to deal with massive data. This paper first introduces the background and related technologies of cloud computing, focuses on the description and analysis of MapReduce programming model, and introduces the execution process of MapReduce in detail. Secondly, it introduces the new characteristics of task scheduling based on MapReduce programming model in cloud computing environment, and introduces several typical cloud platform task scheduling algorithms in detail, including: FIFO algorithm, MaxCover-Balance algorithm, fair algorithm, delay scheduling algorithm. Genetic algorithm. After analyzing and studying cloud computing technologies and the advantages and disadvantages of each algorithm, two improved task scheduling algorithms are proposed. First of all, the existing delay scheduling algorithm is improved, by analyzing the data center to calculate the node idle rate, network transmission rate, node load and other dynamic parameters. According to the probabilistic model, the waiting time threshold of each job and the waiting time of idle computing node are adjusted to optimize the performance of the algorithm. Secondly, the original adaptive genetic algorithm is improved to reduce the network transmission overhead by scheduling the task to the computing node where the input data is located on the premise of ensuring the fairness of the user. In order to shorten the completion time of the total task and improve the user satisfaction, the performance of the algorithm is optimized. Finally, we simulate the cloud computing environment by Matlab, set and adjust the experimental parameters, and compare the original algorithm with the improved algorithm. Through repeated experiments, the results show that the improved delay scheduling algorithm is superior to the existing delay scheduling algorithm in terms of data locality, job fairness and job completion time, and is an effective task scheduling algorithm in cloud computing environment. The improved genetic algorithm is superior to the adaptive genetic algorithm in response time, fairness and user satisfaction, so it is more suitable for cloud computing environment.
【學(xué)位授予單位】：新疆大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP338.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬海波;李敬朋;徐志英;;校園網(wǎng)格智能代理的最大響應(yīng)比任務(wù)調(diào)度算法[J];大連交通大學(xué)學(xué)報(bào);2008年04期

2 張利權(quán);楊瑞娟;肖玉芬;;一種基于通信開銷的網(wǎng)格任務(wù)調(diào)度算法[J];空軍雷達(dá)學(xué)院學(xué)報(bào);2008年01期

3 李慧賢;程春田;龐遼軍;;網(wǎng)格環(huán)境下的高效動(dòng)態(tài)任務(wù)調(diào)度算法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年01期

4 王樹鵬;云曉春;余翔湛;;基于生存性和Makespan的多目標(biāo)網(wǎng)格任務(wù)調(diào)度算法研究[J];通信學(xué)報(bào);2006年02期

5 李云濤;崔少輝;;一種基于UUTs模型的并行測(cè)試任務(wù)調(diào)度算法[J];電子測(cè)量技術(shù);2009年07期

6 周建中;王樹宗;石章松;王成飛;;基于遺傳算法的網(wǎng)格任務(wù)調(diào)度方法研究[J];艦船科學(xué)技術(shù);2009年11期

7 鄧定蘭;于炯;譚亞麗;呂良干;;網(wǎng)格工作流的動(dòng)態(tài)貪心調(diào)度算法[J];計(jì)算機(jī)工程;2010年03期

8 童小念;王偉;舒萬(wàn)能;何秉姣;汪紅;;網(wǎng)格環(huán)境下加權(quán)動(dòng)態(tài)效率的任務(wù)調(diào)度算法[J];武漢理工大學(xué)學(xué)報(bào);2008年03期

9 肖國(guó)強(qiáng);楊光;;網(wǎng)格環(huán)境下一種新的動(dòng)態(tài)任務(wù)調(diào)度算法[J];微處理機(jī);2008年02期

10 楊長(zhǎng)興;周軍成;;一種基于多維QoS約束的網(wǎng)格作業(yè)調(diào)度算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2009年01期

相關(guān)會(huì)議論文 前10條

1 杜琳;石慧;劉曉平;;一種基于Q學(xué)習(xí)的任務(wù)調(diào)度算法的改進(jìn)研究[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

2 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計(jì)算支撐平臺(tái)[A];2008年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2008年

3 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復(fù)制文本檢測(cè)[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

4 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網(wǎng)絡(luò)中介度的網(wǎng)格并行算法及調(diào)度算法[A];2006年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2006年

5 趙偉;陳承收;李立軍;;基于MapReduce云計(jì)算模型的碰撞檢測(cè)算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

6 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯(cuò)機(jī)制研究[A];2007年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年

7 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學(xué)計(jì)算[A];2009年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2009年

8 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

9 陳飛;曹政;王凱;安學(xué)軍;;高性能計(jì)算節(jié)點(diǎn)中的同步操作加速引擎設(shè)計(jì)[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（B輯）[C];2011年

10 李虎;鄒鵬;賈焰;周斌;;一種基于Map Reduce的分布式文本數(shù)據(jù)過濾模型研究[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 劉琦;MapReduce:亞馬遜云服務(wù)再添新援[N];中國(guó)計(jì)算機(jī)報(bào);2009年

2 《網(wǎng)絡(luò)世界》記者 周源;Platform MapReduce：專注企業(yè)級(jí)用戶[N];網(wǎng)絡(luò)世界;2011年

3 吳秉熹　朱振明;GPGPU技術(shù)在石油領(lǐng)域的應(yīng)用[N];計(jì)算機(jī)世界;2011年

4 本報(bào)記者 鳴秦;寶德HPC走開放之路[N];計(jì)算機(jī)世界;2005年

5 新疆油田公司勘探開發(fā)研究院地球物理研究所 張峰;靈活調(diào)度提升HPC價(jià)值[N];計(jì)算機(jī)世界;2009年

6 一言;戴爾HPCC系統(tǒng)為華中師大尖端課題研究提供計(jì)算保障[N];科技日?qǐng)?bào);2006年

7 ;戴爾HPCC系統(tǒng)助力四川大學(xué)化工學(xué)院[N];中國(guó)電子報(bào);2005年

8 風(fēng)天;IT技術(shù)新藥研發(fā)顯身手[N];中華工商時(shí)報(bào);2005年

9 ;戴爾HPCC助力華東理工大學(xué)[N];中國(guó)電腦教育報(bào);2005年

10 朗飛;為集群計(jì)算系統(tǒng)選存儲(chǔ)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 巴巍;實(shí)時(shí)系統(tǒng)動(dòng)態(tài)優(yōu)先級(jí)任務(wù)調(diào)度算法的研究[D];大連理工大學(xué);2010年

2 楊志邦;一類異構(gòu)多處理器片上系統(tǒng)任務(wù)調(diào)度算法研究與應(yīng)用[D];湖南大學(xué);2012年

3 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

4 賀小川;單芯片系統(tǒng)（SoC）中的實(shí)時(shí)任務(wù)調(diào)度算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

5 鐘鋒;基于網(wǎng)格的煤炭企業(yè)信息化關(guān)鍵技術(shù)研究[D];中國(guó)礦業(yè)大學(xué)（北京）;2009年

6 鄭霄;超級(jí)計(jì)算機(jī)系統(tǒng)的可用性評(píng)估研究[D];解放軍信息工程大學(xué);2009年

7 陳錦言;P2P環(huán)境下的信譽(yù)評(píng)價(jià)[D];天津大學(xué);2008年

8 馬輝;基于MapReduce的分布式地震射線追蹤方法研究[D];中國(guó)地質(zhì)大學(xué)(北京);2012年

9 史恒亮;云計(jì)算任務(wù)調(diào)度研究[D];南京理工大學(xué);2012年

10 劉姍姍;基于P2P的大規(guī)模分布式虛擬現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)中若干問題的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 鄒偉明;云計(jì)算環(huán)境下基于MapReduce模型的任務(wù)調(diào)度算法研究[D];新疆大學(xué);2013年

2 李坤;云環(huán)境下的任務(wù)調(diào)度算法研究與實(shí)現(xiàn)[D];吉林大學(xué);2012年

3 張希翔;云計(jì)算環(huán)境下任務(wù)調(diào)度算法的研究[D];廣西大學(xué);2012年

4 朱雪慶;基于反饋機(jī)制的實(shí)時(shí)彈性任務(wù)調(diào)度算法研究[D];湖南大學(xué);2011年

5 高鳴;云計(jì)算環(huán)境下基于時(shí)間富余度的任務(wù)調(diào)度算法研究與實(shí)現(xiàn)[D];云南大學(xué);2011年

6 范國(guó)昌;網(wǎng)格計(jì)算的Online-Min-Min任務(wù)調(diào)度算法研究[D];北京郵電大學(xué);2010年

7 王瑞軍;網(wǎng)格計(jì)算中任務(wù)調(diào)度算法的分析和研究[D];北京化工大學(xué);2011年

8 鐘英姿;QoS約束下的網(wǎng)格任務(wù)調(diào)度算法研究[D];中南大學(xué);2010年

9 曹曉磊;基于LRSS的可重構(gòu)任務(wù)調(diào)度算法研究[D];解放軍信息工程大學(xué);2010年

10 王強(qiáng);數(shù)據(jù)放置與任務(wù)調(diào)度算法的研究[D];吉林大學(xué);2013年

本文編號(hào)：2309397